數(shù)據(jù)匿名化技術(shù)的案例
康謀分享 | 突破傳統(tǒng)匿名化：先進(jìn)技術(shù)解鎖數(shù)據(jù)價值新維度
海量數(shù)據(jù)的收集使得新舊企業(yè)能夠利用機(jī)器學(xué)習(xí)技術(shù)開發(fā)新產(chǎn)品并革新舊產(chǎn)品。近年來，數(shù)據(jù)質(zhì)量因直接影響了人工智能系統(tǒng)的性能和魯棒性而備受關(guān)注。然而，這對通常通過破壞像素信息（如模糊化、馬賽克等）來實(shí)現(xiàn)匿名化的方法提出了挑戰(zhàn)，這些方法導(dǎo)致合規(guī)性與數(shù)據(jù)質(zhì)量之間難以兼得。
我們探索了一種不是簡單移除像素信息，而是對其進(jìn)行自然替換的深度自然匿名化（Deep Natural Anonymization，DNAT）方法，致力于提高匿名化數(shù)據(jù)價值，助力企業(yè)開發(fā)創(chuàng)新。
一、匿名化數(shù)據(jù)的傳統(tǒng)矛盾
DNAT能夠檢測人臉、車牌等可識別信息，并為每個對象生成人工替換。每個替換都盡可能匹配源對象的屬性，但這種匹配是有選擇性的，我們可以靈活控制保留哪些屬性。
例如，對于人臉，保留性別和年齡等屬性可能對后續(xù)分析至關(guān)重要。對于可識別信息以外的內(nèi)容，不包含敏感個人數(shù)據(jù)的信息則保留不做修改。通過這種方式，DNAT成功打破了數(shù)據(jù)消除與匿名化之間的傳統(tǒng)矛盾。
圖1: 匿名化工具的比較，從左至右依次為：Facepixelizer，YouTube，F(xiàn)ast Redaction，DNAT，原圖
為了衡量匿名化方法對數(shù)據(jù)質(zhì)量的影響，我們從Labeled Face in the Wild（LFW）數(shù)據(jù)集中采樣了圖像。所有圖像均取自測試集。我們比較了代表匿名化技術(shù)的四種不同的匿名化工具，圖1顯示了這些示例的一部分。
二、匿名化的結(jié)構(gòu)一致性
首先，我們分析了圖像在匿名化處理后的整體結(jié)構(gòu)變化。為此，我們仔細(xì)研究了圖像分割結(jié)果。圖像分割是將圖像的像素劃分為多個片段的過程，每個片段代表一個對象類別。在我們的示例中，最重要的對象是個人資料圖片中的人物和背景。
圖2和圖3展示了LFW數(shù)據(jù)集中兩位名人的分割圖。
展開 康謀分享 | 數(shù)據(jù)隱私和匿名化：PIPL與GDPR下，如何確保數(shù)據(jù)合規(guī)？（二）
特別是當(dāng)涉及敏感個人信息處理時，如位置數(shù)據(jù)、行為數(shù)據(jù)以及測繪數(shù)據(jù)等，企業(yè)可能還需進(jìn)行數(shù)據(jù)保護(hù)影響評估（DPIA），以全面評估數(shù)據(jù)處理的合法性、必要性和風(fēng)險性。
值得注意的是，由于歐盟目前尚未對中國作出充分性決定，因此中國企業(yè)在向歐盟外傳輸數(shù)據(jù)時，可能需要與相關(guān)方簽訂標(biāo)準(zhǔn)合同條款（SCCs）來確保數(shù)據(jù)傳輸?shù)暮戏ㄐ浴?總之，在跨境傳輸過程中，為降低數(shù)據(jù)泄露或不當(dāng)使用的風(fēng)險，企業(yè)需對敏感數(shù)據(jù)進(jìn)行加密或匿名化處理。
康謀分享 | 從云端到單機(jī)的數(shù)據(jù)匿名化全攻略
在數(shù)據(jù)驅(qū)動決策時代，企業(yè)面臨隱私合規(guī)與數(shù)據(jù)利用的雙重挑戰(zhàn)（如PIPL、GDPR等隱私規(guī)定要求）。如何在聚焦效率與合規(guī)平衡，助力汽車、零售等行業(yè)在保護(hù)敏感信息的同時，安全釋放視頻數(shù)據(jù)價值，破解數(shù)據(jù)處理的合規(guī)與業(yè)務(wù)增長難題？
本文為大家分享基于 AWS Kubernetes 的可擴(kuò)展集群方案和基于 Docker Compose 的單機(jī)方案，助力企業(yè)平衡數(shù)據(jù)安全與業(yè)務(wù)需求。
一、現(xiàn)實(shí)問題
人工智能技術(shù)的爆發(fā)式增長，推動汽車、制造、零售等行業(yè)進(jìn)入 “數(shù)據(jù)驅(qū)動決策” 的新時代。企業(yè)通過攝像頭采集海量數(shù)據(jù)用于自動駕駛模型訓(xùn)練、生產(chǎn)線缺陷檢測、門店客流分析等場景，但隨之而來的是日益嚴(yán)苛的隱私合規(guī)壓力 —— 歐盟GDPR、中國PIPL等規(guī)定明確要求，敏感數(shù)據(jù)處理需滿足匿名化脫敏存儲等硬性條件。
傳統(tǒng)云端方案雖然便捷，卻面臨侵犯隱私數(shù)據(jù)、跨境傳輸風(fēng)險、網(wǎng)絡(luò)依賴及成本不可控等問題，越來越多企業(yè)開始尋求本地化匿名化解決方案，在保障合規(guī)性的同時釋放視頻數(shù)據(jù)價值。
二、從KBS到單機(jī)Docker的匿名化方案
1、基于 AWS Kubernetes 的彈性集群
關(guān)于“基于 AWS Kubernetes 的彈性集群”方案，下面將從技術(shù)架構(gòu)、模式、服務(wù)支持三方面具體闡述：
（1）隱私優(yōu)先的技術(shù)架構(gòu)
通過 Terraform 在 AWS 專用 VPC 私有子網(wǎng)內(nèi)構(gòu)建 Kubernetes 集群，實(shí)現(xiàn)數(shù)據(jù)全生命周期隔離；集成 Loki、Prometheus、Grafana 監(jiān)控堆棧，實(shí)時追蹤資源利用率、作業(yè)吞吐量及系統(tǒng)健康狀態(tài)，確保處理流程透明可控。這種隱私優(yōu)先的架構(gòu)為大規(guī)模匿名化提供了可靠的安全態(tài)勢和顯著的吞吐量。
（2）雙模式靈活匹配
方案提供兩種模式，適合不同的吞吐量需求和預(yù)算。
展開 技術(shù) \\ 數(shù)據(jù)中心液冷化改造適用技術(shù)探析
數(shù)據(jù)中心液冷化改造建設(shè)
以下基于冷板式液冷技術(shù)，對數(shù)據(jù)中心液冷化改造建設(shè)做一個初步概述：
數(shù)據(jù)中心機(jī)柜的液冷化改造建設(shè)。主要工作量在于對原有機(jī)柜及服務(wù)器的冷板式改造，改造內(nèi)容是配電、布放管路、冷卻液體流量分配單元CDU等，并同步配套調(diào)試漏液監(jiān)測、堵塞等監(jiān)控系統(tǒng)。
數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。數(shù)據(jù)中心機(jī)房液冷化改造的主要工作在于鋪設(shè)室內(nèi)外液冷管道、安裝冷卻液體流量分配單元（CDU）、新建或改造冷卻塔等。
數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。根據(jù)初步市場調(diào)研情況，超聚變、浪潮、網(wǎng)宿科技等數(shù)據(jù)中心設(shè)備企業(yè)都已經(jīng)推出了商用化改造解決方案，并落地了一些現(xiàn)網(wǎng)數(shù)據(jù)中心改造建設(shè)具體案例。液冷化建設(shè)已經(jīng)為越來越多的數(shù)據(jù)中心企業(yè)所接受，進(jìn)一步推動液冷化技術(shù)成熟和商業(yè)生態(tài)完善。
END
展開 
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(3) - HDDV高維數(shù)據(jù)可視化技術(shù)
因此，在開展具體的建模工作之前，對數(shù)據(jù)集進(jìn)行細(xì)致、深度的挖掘，就顯得很有必要。DTEmpower的HDDV模塊提供了豐富的可視化圖庫模板，為用戶“可視化”探索數(shù)據(jù)模式提供了一條便捷可信賴的技術(shù)途徑。
DTEmpower致力于為工業(yè)數(shù)據(jù)研究者掃清各種障礙、提供易用可信賴的技術(shù)支撐！該軟件平臺不僅提供了一站式的數(shù)據(jù)建模解決方案，還提供了功能強(qiáng)大的數(shù)據(jù)挖掘如異常點(diǎn)檢測、高維可視化、特征工程等支撐技術(shù)。可以幫助用戶快速、便捷的深入挖掘數(shù)據(jù)，為建立高精度的數(shù)據(jù)模型提供了一條高效可落地的實(shí)現(xiàn)路徑。
DTEmpower核心功能技術(shù)系列：
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(1) - HierachicalStratify分層分類技術(shù)
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(2) - AIOD智能異常點(diǎn)檢測技術(shù)
展開 一套模塊化數(shù)據(jù)中心機(jī)房技術(shù)方案書
針對本此模塊化機(jī)房招標(biāo)范圍，模塊化數(shù)據(jù)中心機(jī)房方案包含如下子系統(tǒng)：
1】封閉通道子系統(tǒng)（含天窗控制及消防聯(lián)動系統(tǒng)）
2】機(jī)柜子系統(tǒng)
3】空調(diào)子系統(tǒng)
2.2模塊化數(shù)據(jù)中心機(jī)房設(shè)計理念
2.2.1模塊化數(shù)據(jù)中心機(jī)房設(shè)計原則
整體性
機(jī)房建設(shè)包括多個專業(yè)，各個專業(yè)間存在千絲萬縷的聯(lián)系，必須從整體考慮、全局出發(fā)才能使各專業(yè)協(xié)調(diào)融會在一起。
可靠性
采用高可靠性設(shè)計標(biāo)準(zhǔn)，為應(yīng)用提供穩(wěn)定可靠的基礎(chǔ)環(huán)境和設(shè)計。
安全性
從防火、防水、防盜、接地、防雷、防電磁干擾、降噪等方面采取有效措施，并考慮地面承重能力等特殊技術(shù)措施。
先進(jìn)性與實(shí)用性
在滿足可靠性前提下，采用先進(jìn)、實(shí)用的技術(shù)、設(shè)備和材料。
管理、維護(hù)便捷性
便于工作人員對環(huán)境及放置的設(shè)備進(jìn)行集中管理，便于維護(hù)、維修。
可擴(kuò)展性
各系統(tǒng)都必須具備靈活的系統(tǒng)擴(kuò)容和升級能力。
環(huán)保、節(jié)能
全部使用國家認(rèn)可的環(huán)保材料，設(shè)計方案要體現(xiàn)節(jié)能思想。
2.2.2模塊化數(shù)據(jù)中心機(jī)房設(shè)計目標(biāo)
數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)是以保證設(shè)備運(yùn)行安全性、可靠性為主要目的綜合性項目，它包括電氣系統(tǒng)、空調(diào)系統(tǒng)、監(jiān)控系統(tǒng)、機(jī)柜系統(tǒng)等四大系統(tǒng)。其目標(biāo)是：
1)、保證計算機(jī)設(shè)備運(yùn)行的可靠性
2）、保證機(jī)房運(yùn)行的安全性
3）、延長計算機(jī)設(shè)備的使用壽命
4）、滿足用戶的特殊要求
5）、保證場地工作人員的身心健康
模塊化數(shù)據(jù)中心機(jī)房設(shè)計工作就是圍繞這些根本任務(wù)來進(jìn)行，在設(shè)計過程中采用超前的設(shè)計思想和先進(jìn)的技術(shù)，并著眼于未來發(fā)展，把各個系統(tǒng)有機(jī)的結(jié)合起來，通過采用優(yōu)質(zhì)材料、合理的配置和先進(jìn)的工藝確保環(huán)境指標(biāo)的實(shí)現(xiàn)，為計算機(jī)設(shè)備和工作人員創(chuàng)造一個安全、可靠、寬松、舒適的工作場地。
展開 【喜訊】《數(shù)巧三維數(shù)據(jù)輕量化可視化系統(tǒng)》獲得上海市2021年度科技型中小企業(yè)技術(shù)創(chuàng)新資金計劃支持！
喜訊
根據(jù)《中共中央辦公廳、國務(wù)院辦公廳關(guān)于深化項目評審、人才評價、機(jī)構(gòu)評估改革的意見》等文件要求， 上海數(shù)巧科技推出的《數(shù)巧三維數(shù)據(jù)輕量化可視化系統(tǒng)》項目被列入上海市2021年度科技型中小企業(yè)技術(shù)創(chuàng)新資金計劃擬立項項目
衷心感謝每一位用戶的支持，數(shù)巧將不負(fù)使命，繼續(xù)砥礪前行！
延伸閱讀：https://mp.weixin.qq.com/s/Cc-OVTkMFAv72CfJzp0jLg
上海數(shù)巧信息科技有限公司
電話：021-50331908
郵箱：info@simright.com
網(wǎng)址：www.simright.com
上海 - 北京 - 深圳 - 西安 - 武漢 - 成都
展開 無可替代：工業(yè)正向設(shè)計中的數(shù)據(jù)可視化技術(shù)
來源：本文為安世亞太原創(chuàng)作品，上海安世亞太授權(quán)轉(zhuǎn)載
前言
工業(yè)正向設(shè)計體系是一套基于模型的系統(tǒng)工程體系，而整個MBSE體系架構(gòu)會涉及到眾多模型，如需求模型、設(shè)計模型、仿真模型等，如何有效直觀地可視化展示各個階段模型數(shù)據(jù)，輔助工程師進(jìn)行正向設(shè)計決策，是當(dāng)前工業(yè)正向設(shè)計體系的一大難題。而隨著數(shù)字孿生場景的不斷細(xì)化落地，如何真實(shí)高效地描述和映射物理產(chǎn)品，同樣也是當(dāng)前數(shù)字孿生領(lǐng)域急迫需要解決的問題。這些都與模型數(shù)據(jù)可視化及封裝技術(shù)息息相關(guān)。
一、產(chǎn)品數(shù)字模型可視化集成封裝
產(chǎn)品正向設(shè)計過程從需求設(shè)計、功能設(shè)計、物理設(shè)計到各階段逐級驗(yàn)證，每個階段都可以借助可視化手段輔助工程師進(jìn)行設(shè)計決策，尤其是在物理設(shè)計和性能指標(biāo)驗(yàn)證階段。而產(chǎn)品數(shù)字化模型可視化集成封裝，是從工業(yè)產(chǎn)品問題對象出發(fā)，基于統(tǒng)一建模開發(fā)環(huán)境進(jìn)行數(shù)字化建模形成標(biāo)準(zhǔn)化數(shù)學(xué)模型，通過可視化集成封裝環(huán)境實(shí)現(xiàn)組態(tài)可視化插件與模型參數(shù)的關(guān)聯(lián)映射和封裝發(fā)布，最后通過分布式調(diào)度運(yùn)行環(huán)境實(shí)現(xiàn)可視化封裝模型的智能運(yùn)行調(diào)度。
圖 1產(chǎn)品數(shù)字化模型可視化封裝過程示意圖
二、可視化集成仿真環(huán)境
可視化集成仿真環(huán)境ViSim是基于異構(gòu)設(shè)計仿真工具的一體化集成融合技術(shù)和可視化組態(tài)插件關(guān)聯(lián)技術(shù)實(shí)現(xiàn)工業(yè)產(chǎn)品數(shù)字化模型集成封裝發(fā)布運(yùn)行的一體化應(yīng)用環(huán)境。為滿足異構(gòu)設(shè)計仿真模型可視化集成封裝的需求，在考慮集成封裝通用功能的前提下，采用模塊化、插件式系統(tǒng)架構(gòu)模式，支持用戶對當(dāng)前不支持的模型封裝以插件的形式進(jìn)行擴(kuò)展。
圖 2可視化集成仿真環(huán)境整體框架結(jié)構(gòu)示意圖
集成封裝主環(huán)境(AutoWrapFrame)：模型集成封裝的主要應(yīng)用環(huán)境，支持用戶進(jìn)行參數(shù)文件導(dǎo)入、參數(shù)選取識別、調(diào)用程序選擇、綁定界面選擇、試運(yùn)行等。
展開 康謀技術(shù) | 高效環(huán)境感知：毫米波雷達(dá)數(shù)據(jù)采集、可視化及存儲方案
<p>隨著自動駕駛技術(shù)的快速發(fā)展，自動駕駛的研發(fā)逐漸形成一整套的流程，包括<strong>數(shù)據(jù)采集，清洗標(biāo)注，算法訓(xùn)練，仿真測試</strong>到<strong>量產(chǎn)</strong>等各技術(shù)環(huán)節(jié)。通過復(fù)雜的步驟從原始數(shù)據(jù)中提出高價值的信息，其中對原始數(shù)據(jù)的精準(zhǔn)采集是實(shí)現(xiàn)車輛環(huán)境感知的基石。毫米波雷達(dá)因其出色的測距、測速能力以及對惡劣天氣的魯棒性，成為不可或缺的傳感器之一。</p><p>本文將以4D毫米波雷達(dá)ARS548為例，分享毫米波雷達(dá)如何快速實(shí)現(xiàn)數(shù)據(jù)采集，可視化及存儲策略。關(guān)于毫米波雷達(dá)的特性可進(jìn)一步了解文章<strong>《毫米波雷達(dá)技術(shù)解析》</strong>。</p><h2>一、ARS548毫米波雷達(dá)概述</h2><p><strong>ARS548</strong>是 4D高分辨率成像毫米波雷達(dá)（4D High Resolution Radar），如圖1所示。它能夠有效的測量<strong>距離（Range），速度（Velocity），水平角度（Azimuth）</strong>和<strong>俯仰角度或高度（Elevation）</strong>四個維度的信息，具備感知目標(biāo)三維空間位置能力。
展開 特斯拉的“哨兵模式”為何被告？自動駕駛隱私保護(hù)出路在哪里
而從技術(shù)層面講，完全禁止真實(shí)場景數(shù)據(jù)收集又意味著自動駕駛研發(fā)失去關(guān)鍵支撐：沒有足夠的邊緣案例數(shù)據(jù)訓(xùn)練，系統(tǒng)將難以應(yīng)對復(fù)雜路況，安全性無法得到保障。技術(shù)創(chuàng)新與隱私保護(hù)似乎陷入了 “非此即彼” 的兩難境地。
三、匿名化應(yīng)對方案
面對數(shù)據(jù)需求與隱私保護(hù)的矛盾，是否存在既能保障研發(fā)進(jìn)展，又能符合法規(guī)要求的解決方案？答案是肯定的 —— 數(shù)據(jù)匿名化技術(shù)為行業(yè)提供了解決思路。《通用數(shù)據(jù)保護(hù)條例》（GDPR）第 26 條注釋明確規(guī)定：“本條例不適用于對匿名信息的處理，包括用于統(tǒng)計或研究目的的匿名信息處理”，這一表述為合規(guī)的數(shù)據(jù)收集與使用提供了明確依據(jù)，其他國家的多項數(shù)據(jù)保護(hù)法規(guī)也有類似條款。
比如深度自然匿名化（DNAT）技術(shù)，是專為解決圖像與視頻數(shù)據(jù)中的隱私保護(hù)問題而設(shè)計的。與傳統(tǒng)模糊化處理技術(shù)不同，深度自然匿名化（DNAT）并非簡單遮蔽個人身份信息（PII），而是通過先進(jìn)算法自動檢測人臉、車牌等隱私數(shù)據(jù)，并生成能夠精準(zhǔn)反映原始屬性的合成替代內(nèi)容。在匿名化過程中，年齡、視線方向、情緒狀態(tài)等對機(jī)器學(xué)習(xí)至關(guān)重要的核心信息得以完整保留，既實(shí)現(xiàn)了個人與車輛身份的隱私保護(hù)，又不影響數(shù)據(jù)分析與模型訓(xùn)練的有效性。
此外，深度自然匿名化（DNAT）技術(shù)還能確保圖像語義分割的一致性（該一致性經(jīng)過專業(yè)檢測），避免了傳統(tǒng)模糊處理導(dǎo)致的信息丟失與上下文斷裂問題，完美平衡了隱私保護(hù)與數(shù)據(jù)可用性。這一解決方案徹底打破了 “創(chuàng)新必須以犧牲隱私為代價” 的固有認(rèn)知，讓自動駕駛行業(yè)能夠在合規(guī)前提下持續(xù)推進(jìn)技術(shù)迭代。
展開 