數(shù)據(jù)匿名化技術(shù)
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2025-12-01
數(shù)據(jù)匿名化技術(shù)的實(shí)例教程
海量數(shù)據(jù)的收集使得新舊企業(yè)能夠利用機(jī)器學(xué)習(xí)技術(shù)開發(fā)新產(chǎn)品并革新舊產(chǎn)品。近年來，數(shù)據(jù)質(zhì)量因直接影響了人工智能系統(tǒng)的性能和魯棒性而備受關(guān)注。然而，這對(duì)通常通過破壞像素信息（如模糊化、馬賽克等）來實(shí)現(xiàn)匿名化的方法提出了挑戰(zhàn)，這些方法導(dǎo)致合規(guī)性與數(shù)據(jù)質(zhì)量之間難以兼得。
我們探索了一種不是簡(jiǎn)單移除像素信息，而是對(duì)其進(jìn)行自然替換的深度自然匿名化（Deep Natural Anonymization，DNAT）方法，致力于提高匿名化數(shù)據(jù)價(jià)值，助力企業(yè)開發(fā)創(chuàng)新。
一、匿名化數(shù)據(jù)的傳統(tǒng)矛盾
DNAT能夠檢測(cè)人臉、車牌等可識(shí)別信息，并為每個(gè)對(duì)象生成人工替換。每個(gè)替換都盡可能匹配源對(duì)象的屬性，但這種匹配是有選擇性的，我們可以靈活控制保留哪些屬性。
例如，對(duì)于人臉，保留性別和年齡等屬性可能對(duì)后續(xù)分析至關(guān)重要。對(duì)于可識(shí)別信息以外的內(nèi)容，不包含敏感個(gè)人數(shù)據(jù)的信息則保留不做修改。通過這種方式，DNAT成功打破了數(shù)據(jù)消除與匿名化之間的傳統(tǒng)矛盾。
圖1: 匿名化工具的比較，從左至右依次為：Facepixelizer，YouTube，F(xiàn)ast Redaction，DNAT，原圖
為了衡量匿名化方法對(duì)數(shù)據(jù)質(zhì)量的影響，我們從Labeled Face in the Wild（LFW）數(shù)據(jù)集中采樣了圖像。所有圖像均取自測(cè)試集。我們比較了代表匿名化技術(shù)的四種不同的匿名化工具，圖1顯示了這些示例的一部分。
二、匿名化的結(jié)構(gòu)一致性
首先，我們分析了圖像在匿名化處理后的整體結(jié)構(gòu)變化。為此，我們仔細(xì)研究了圖像分割結(jié)果。圖像分割是將圖像的像素劃分為多個(gè)片段的過程，每個(gè)片段代表一個(gè)對(duì)象類別。在我們的示例中，最重要的對(duì)象是個(gè)人資料圖片中的人物和背景。
圖2和圖3展示了LFW數(shù)據(jù)集中兩位名人的分割圖。
展開 特別是當(dāng)涉及敏感個(gè)人信息處理時(shí)，如位置數(shù)據(jù)、行為數(shù)據(jù)以及測(cè)繪數(shù)據(jù)等，企業(yè)可能還需進(jìn)行數(shù)據(jù)保護(hù)影響評(píng)估（DPIA），以全面評(píng)估數(shù)據(jù)處理的合法性、必要性和風(fēng)險(xiǎn)性。
值得注意的是，由于歐盟目前尚未對(duì)中國作出充分性決定，因此中國企業(yè)在向歐盟外傳輸數(shù)據(jù)時(shí)，可能需要與相關(guān)方簽訂標(biāo)準(zhǔn)合同條款（SCCs）來確保數(shù)據(jù)傳輸?shù)暮戏ㄐ浴?總之，在跨境傳輸過程中，為降低數(shù)據(jù)泄露或不當(dāng)使用的風(fēng)險(xiǎn)，企業(yè)需對(duì)敏感數(shù)據(jù)進(jìn)行加密或匿名化處理。
在數(shù)據(jù)驅(qū)動(dòng)決策時(shí)代，企業(yè)面臨隱私合規(guī)與數(shù)據(jù)利用的雙重挑戰(zhàn)（如PIPL、GDPR等隱私規(guī)定要求）。如何在聚焦效率與合規(guī)平衡，助力汽車、零售等行業(yè)在保護(hù)敏感信息的同時(shí)，安全釋放視頻數(shù)據(jù)價(jià)值，破解數(shù)據(jù)處理的合規(guī)與業(yè)務(wù)增長難題？
本文為大家分享基于 AWS Kubernetes 的可擴(kuò)展集群方案和基于 Docker Compose 的單機(jī)方案，助力企業(yè)平衡數(shù)據(jù)安全與業(yè)務(wù)需求。
一、現(xiàn)實(shí)問題
人工智能技術(shù)的爆發(fā)式增長，推動(dòng)汽車、制造、零售等行業(yè)進(jìn)入 “數(shù)據(jù)驅(qū)動(dòng)決策” 的新時(shí)代。企業(yè)通過攝像頭采集海量數(shù)據(jù)用于自動(dòng)駕駛模型訓(xùn)練、生產(chǎn)線缺陷檢測(cè)、門店客流分析等場(chǎng)景，但隨之而來的是日益嚴(yán)苛的隱私合規(guī)壓力 —— 歐盟GDPR、中國PIPL等規(guī)定明確要求，敏感數(shù)據(jù)處理需滿足匿名化脫敏存儲(chǔ)等硬性條件。
傳統(tǒng)云端方案雖然便捷，卻面臨侵犯隱私數(shù)據(jù)、跨境傳輸風(fēng)險(xiǎn)、網(wǎng)絡(luò)依賴及成本不可控等問題，越來越多企業(yè)開始尋求本地化匿名化解決方案，在保障合規(guī)性的同時(shí)釋放視頻數(shù)據(jù)價(jià)值。
二、從KBS到單機(jī)Docker的匿名化方案
1、基于 AWS Kubernetes 的彈性集群
關(guān)于“基于 AWS Kubernetes 的彈性集群”方案，下面將從技術(shù)架構(gòu)、模式、服務(wù)支持三方面具體闡述：
（1）隱私優(yōu)先的技術(shù)架構(gòu)
通過 Terraform 在 AWS 專用 VPC 私有子網(wǎng)內(nèi)構(gòu)建 Kubernetes 集群，實(shí)現(xiàn)數(shù)據(jù)全生命周期隔離；集成 Loki、Prometheus、Grafana 監(jiān)控堆棧，實(shí)時(shí)追蹤資源利用率、作業(yè)吞吐量及系統(tǒng)健康狀態(tài)，確保處理流程透明可控。這種隱私優(yōu)先的架構(gòu)為大規(guī)模匿名化提供了可靠的安全態(tài)勢(shì)和顯著的吞吐量。
（2）雙模式靈活匹配
方案提供兩種模式，適合不同的吞吐量需求和預(yù)算。
展開 數(shù)據(jù)中心液冷化改造建設(shè)
以下基于冷板式液冷技術(shù)，對(duì)數(shù)據(jù)中心液冷化改造建設(shè)做一個(gè)初步概述：
數(shù)據(jù)中心機(jī)柜的液冷化改造建設(shè)。主要工作量在于對(duì)原有機(jī)柜及服務(wù)器的冷板式改造，改造內(nèi)容是配電、布放管路、冷卻液體流量分配單元CDU等，并同步配套調(diào)試漏液監(jiān)測(cè)、堵塞等監(jiān)控系統(tǒng)。
數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。數(shù)據(jù)中心機(jī)房液冷化改造的主要工作在于鋪設(shè)室內(nèi)外液冷管道、安裝冷卻液體流量分配單元（CDU）、新建或改造冷卻塔等。
數(shù)據(jù)中心機(jī)房的液冷化改造建設(shè)。根據(jù)初步市場(chǎng)調(diào)研情況，超聚變、浪潮、網(wǎng)宿科技等數(shù)據(jù)中心設(shè)備企業(yè)都已經(jīng)推出了商用化改造解決方案，并落地了一些現(xiàn)網(wǎng)數(shù)據(jù)中心改造建設(shè)具體案例。液冷化建設(shè)已經(jīng)為越來越多的數(shù)據(jù)中心企業(yè)所接受，進(jìn)一步推動(dòng)液冷化技術(shù)成熟和商業(yè)生態(tài)完善。
END
展開 因此，在開展具體的建模工作之前，對(duì)數(shù)據(jù)集進(jìn)行細(xì)致、深度的挖掘，就顯得很有必要。DTEmpower的HDDV模塊提供了豐富的可視化圖庫模板，為用戶“可視化”探索數(shù)據(jù)模式提供了一條便捷可信賴的技術(shù)途徑。
DTEmpower致力于為工業(yè)數(shù)據(jù)研究者掃清各種障礙、提供易用可信賴的技術(shù)支撐！該軟件平臺(tái)不僅提供了一站式的數(shù)據(jù)建模解決方案，還提供了功能強(qiáng)大的數(shù)據(jù)挖掘如異常點(diǎn)檢測(cè)、高維可視化、特征工程等支撐技術(shù)。可以幫助用戶快速、便捷的深入挖掘數(shù)據(jù)，為建立高精度的數(shù)據(jù)模型提供了一條高效可落地的實(shí)現(xiàn)路徑。
DTEmpower核心功能技術(shù)系列：
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(1) - HierachicalStratify分層分類技術(shù)
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(2) - AIOD智能異常點(diǎn)檢測(cè)技術(shù)
展開 
數(shù)據(jù)匿名化技術(shù)的相關(guān)專題、標(biāo)簽、搜索
數(shù)據(jù)匿名化技術(shù)數(shù)據(jù)匿名化圖像匿名化技術(shù)圖像匿名化深度自然匿名化數(shù)據(jù)可視化 測(cè)繪技術(shù)儲(chǔ)能技術(shù) 制造業(yè) 數(shù)據(jù)資產(chǎn)化技術(shù)三維數(shù)據(jù) 輕量化技術(shù)cad 數(shù)據(jù)輕量化技術(shù)突破appml 技術(shù)革新 bim 數(shù)據(jù)可視化alldata 數(shù)據(jù)中臺(tái) 國產(chǎn)化技術(shù)棧東軟 討論ai技術(shù)重塑行業(yè)與數(shù)據(jù)價(jià)值化
數(shù)據(jù)匿名化技術(shù)的最新內(nèi)容
答案是肯定的 —— 數(shù)據(jù)匿名化技術(shù)為行業(yè)提供了解決思路。《通用數(shù)據(jù)保護(hù)條例》（GDPR）第 26 條注釋明確規(guī)定：“本條例不適用于對(duì)匿名信息的處理，包括用于統(tǒng)計(jì)或研究目的的匿名信息處理”，這一表述為合規(guī)的數(shù)據(jù)收集與使用提供了明確依據(jù)，其他國家的多項(xiàng)數(shù)據(jù)保護(hù)法規(guī)也有類似條款。
比如深度自然匿名化（DNAT）技術(shù)，是專為解決圖像與視頻數(shù)據(jù)中的隱私保護(hù)問題而設(shè)計(jì)的。
康謀分享 | 從云端到單機(jī)的數(shù)據(jù)匿名化全攻略11個(gè)月前
在數(shù)據(jù)驅(qū)動(dòng)決策時(shí)代，企業(yè)面臨隱私合規(guī)與數(shù)據(jù)利用的雙重挑戰(zhàn)（如PIPL、GDPR等隱私規(guī)定要求）。如何在聚焦效率與合規(guī)平衡，助力汽車、零售等行業(yè)在保護(hù)敏感信息的同時(shí)，安全釋放視頻數(shù)據(jù)價(jià)值，破解數(shù)據(jù)處理的合規(guī)與業(yè)務(wù)增長難題？
本文為大家分享基于 AWS Kubernetes 的可擴(kuò)展集群方案和基于 Docker Compose 的單機(jī)方案，助力企業(yè)平衡數(shù)據(jù)安全與業(yè)務(wù)需求。
一、現(xiàn)實(shí)問題
人工智能技術(shù)的爆發(fā)式增長
表2：用mAP測(cè)量圖像概念一致性（越高越好）
四、總結(jié)
本文探討了如何通過深度自然匿名化（DNAT）技術(shù)提升匿名化數(shù)據(jù)的價(jià)值，打破了傳統(tǒng)匿名化方法在合規(guī)性與數(shù)據(jù)質(zhì)量之間的固有權(quán)衡。DNAT通過生成自然替換而非破壞像素信息，不僅有效保護(hù)了個(gè)人隱私，還最大限度地保留了數(shù)據(jù)的分析價(jià)值。
<p>隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，自動(dòng)駕駛的研發(fā)逐漸形成一整套的流程，包括<strong>數(shù)據(jù)采集，清洗標(biāo)注，算法訓(xùn)練，仿真測(cè)試</strong>到<strong>量產(chǎn)</strong>等各技術(shù)環(huán)節(jié)。通過復(fù)雜的步驟從原始數(shù)據(jù)中提出高價(jià)值的信息，其中對(duì)原始數(shù)據(jù)的精準(zhǔn)采集是實(shí)現(xiàn)車輛環(huán)境感知的基石。毫米波雷達(dá)因其出色的測(cè)距、測(cè)速能力以及對(duì)惡劣天氣的魯棒性，成為不可或缺的傳感器之一。</p><p>本文將以4D
在上期數(shù)據(jù)隱私和匿名化系列文章中，我們主要分享了《中國個(gè)人信息保護(hù)法》（PIPL）和《歐盟通用數(shù)據(jù)保護(hù)條例》（GDPR）在涵蓋范圍、定義、敏感信息等方面的異同點(diǎn)，今天，我們將重點(diǎn)分析PIPL與GDPR在數(shù)據(jù)處理行為及其基礎(chǔ)合法性方面的異同，旨在幫助車企更準(zhǔn)確地把握數(shù)據(jù)隱私保護(hù)法規(guī)的要求，有效應(yīng)對(duì)相關(guān)挑戰(zhàn)，推動(dòng)自動(dòng)駕駛行業(yè)健康發(fā)展。
一、PIPL和GDPR的異同點(diǎn)
1、數(shù)據(jù)處理行為定義
來源
| 中國工業(yè)和信息化
作者 |
曹曦，福建省通信管理局
原文 | DOI:10.19609/j.cnki.cn10-1299/f.2022.12.002
概述
機(jī)器學(xué)習(xí)技術(shù)結(jié)合工業(yè)場(chǎng)景需求是當(dāng)前的研究熱點(diǎn)，但機(jī)器學(xué)習(xí)技術(shù)存在的諸如data-hungry數(shù)據(jù)規(guī)模依賴和dimension-curse
來源：本文為安世亞太原創(chuàng)作品，上海安世亞太授權(quán)轉(zhuǎn)載
前言
工業(yè)正向設(shè)計(jì)體系是一套基于模型的系統(tǒng)工程體系，而整個(gè)MBSE體系架構(gòu)會(huì)涉及到眾多模型，如需求模型、設(shè)計(jì)模型、仿真模型等，如何有效直觀地可視化展示各個(gè)階段模型數(shù)據(jù)，輔助工程師進(jìn)行正向設(shè)計(jì)決策，是當(dāng)前工業(yè)正向設(shè)計(jì)體系的一大難題。而隨著數(shù)字孿生場(chǎng)景的不斷細(xì)化落地，如何真實(shí)高效地描述和映射物理產(chǎn)品，同樣也是當(dāng)前數(shù)字孿生領(lǐng)域急迫需要解決的問題
前言 大家好，我是薛哥。模塊化機(jī)房項(xiàng)目最近幾年非常的多，有的人可能接觸過，有的人沒有接觸過，對(duì)于模塊化機(jī)房項(xiàng)目來說，我們必須要掌握的，因?yàn)橐院蟮捻?xiàng)目，我也會(huì)碰到。今天分享一套模塊化機(jī)房建設(shè)方案，大家可以參考一下。 此套方案已經(jīng)更新到VIP會(huì)員群，會(huì)員可以自行下載。 終將渡過成長的海 01 正文 1模塊化數(shù)據(jù)中心機(jī)房系統(tǒng)簡(jiǎn)介 模塊化數(shù)據(jù)中心機(jī)房方案，是當(dāng)今行業(yè)中主流及領(lǐng)先的應(yīng)用方案，在各行業(yè)的大中小
喜訊
根據(jù)《中共中央辦公廳、國務(wù)院辦公廳關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》等文件要求， 上海數(shù)巧科技推出的《數(shù)巧三維數(shù)據(jù)輕量化可視化系統(tǒng)》項(xiàng)目被列入上海市2021年度科技型中小企業(yè)技術(shù)創(chuàng)新資金計(jì)劃擬立項(xiàng)項(xiàng)目
衷心感謝每一位用戶的支持，數(shù)巧將不負(fù)使命，繼續(xù)砥礪前行！
延伸閱讀：https://mp.weixin.qq.com
