數據匿名化的案例
康謀分享 | 突破傳統匿名化：先進技術解鎖數據價值新維度
海量數據的收集使得新舊企業能夠利用機器學習技術開發新產品并革新舊產品。近年來，數據質量因直接影響了人工智能系統的性能和魯棒性而備受關注。然而，這對通常通過破壞像素信息（如模糊化、馬賽克等）來實現匿名化的方法提出了挑戰，這些方法導致合規性與數據質量之間難以兼得。
我們探索了一種不是簡單移除像素信息，而是對其進行自然替換的深度自然匿名化（Deep Natural Anonymization，DNAT）方法，致力于提高匿名化數據價值，助力企業開發創新。
一、匿名化數據的傳統矛盾
DNAT能夠檢測人臉、車牌等可識別信息，并為每個對象生成人工替換。每個替換都盡可能匹配源對象的屬性，但這種匹配是有選擇性的，我們可以靈活控制保留哪些屬性。
例如，對于人臉，保留性別和年齡等屬性可能對后續分析至關重要。對于可識別信息以外的內容，不包含敏感個人數據的信息則保留不做修改。通過這種方式，DNAT成功打破了數據消除與匿名化之間的傳統矛盾。
圖1: 匿名化工具的比較，從左至右依次為：Facepixelizer，YouTube，Fast Redaction，DNAT，原圖
為了衡量匿名化方法對數據質量的影響，我們從Labeled Face in the Wild（LFW）數據集中采樣了圖像。所有圖像均取自測試集。我們比較了代表匿名化技術的四種不同的匿名化工具，圖1顯示了這些示例的一部分。
二、匿名化的結構一致性
首先，我們分析了圖像在匿名化處理后的整體結構變化。為此，我們仔細研究了圖像分割結果。圖像分割是將圖像的像素劃分為多個片段的過程，每個片段代表一個對象類別。在我們的示例中，最重要的對象是個人資料圖片中的人物和背景。
圖2和圖3展示了LFW數據集中兩位名人的分割圖。
展開 康謀分享 | 數據隱私和匿名化：PIPL與GDPR下，如何確保數據合規？（二）
特別是當涉及敏感個人信息處理時，如位置數據、行為數據以及測繪數據等，企業可能還需進行數據保護影響評估（DPIA），以全面評估數據處理的合法性、必要性和風險性。
值得注意的是，由于歐盟目前尚未對中國作出充分性決定，因此中國企業在向歐盟外傳輸數據時，可能需要與相關方簽訂標準合同條款（SCCs）來確保數據傳輸的合法性。
總之，在跨境傳輸過程中，為降低數據泄露或不當使用的風險，企業需對敏感數據進行加密或匿名化處理。
康謀分享 | 從云端到單機的數據匿名化全攻略
在數據驅動決策時代，企業面臨隱私合規與數據利用的雙重挑戰（如PIPL、GDPR等隱私規定要求）。如何在聚焦效率與合規平衡，助力汽車、零售等行業在保護敏感信息的同時，安全釋放視頻數據價值，破解數據處理的合規與業務增長難題？
本文為大家分享基于 AWS Kubernetes 的可擴展集群方案和基于 Docker Compose 的單機方案，助力企業平衡數據安全與業務需求。
一、現實問題
人工智能技術的爆發式增長，推動汽車、制造、零售等行業進入 “數據驅動決策” 的新時代。企業通過攝像頭采集海量數據用于自動駕駛模型訓練、生產線缺陷檢測、門店客流分析等場景，但隨之而來的是日益嚴苛的隱私合規壓力 —— 歐盟GDPR、中國PIPL等規定明確要求，敏感數據處理需滿足匿名化脫敏存儲等硬性條件。
傳統云端方案雖然便捷，卻面臨侵犯隱私數據、跨境傳輸風險、網絡依賴及成本不可控等問題，越來越多企業開始尋求本地化匿名化解決方案，在保障合規性的同時釋放視頻數據價值。
二、從KBS到單機Docker的匿名化方案
1、基于 AWS Kubernetes 的彈性集群
關于“基于 AWS Kubernetes 的彈性集群”方案，下面將從技術架構、模式、服務支持三方面具體闡述：
（1）隱私優先的技術架構
通過 Terraform 在 AWS 專用 VPC 私有子網內構建 Kubernetes 集群，實現數據全生命周期隔離；集成 Loki、Prometheus、Grafana 監控堆棧，實時追蹤資源利用率、作業吞吐量及系統健康狀態，確保處理流程透明可控。這種隱私優先的架構為大規模匿名化提供了可靠的安全態勢和顯著的吞吐量。
（2）雙模式靈活匹配
方案提供兩種模式，適合不同的吞吐量需求和預算。
展開 拆分數據與可視化，才能深入解析數據可視化
數據可視化因當代信息量的劇增，開始更加深入人類社會的生活，逐漸成為了我們消費信息的主流方式。有趣的是，托了中文強大構詞能力的福，“數據可視化”（Data Visualization)作為一個譯詞，隱隱顯得莫名地高端難解了。
其實”化“字跟在某個字、名詞或者形容詞后通常構成一個動詞，常用于翻譯“ization”后綴：如工業化（industrialization）、現代化（modernization）、全球化（globalization）。這樣理解來，”可視化“也在描述一種“讓大家看見的”發展方向，或者能力。數據可視化的領域是廣博且在不斷擴展的，那用五個字去完整地整個領域終究稍顯單薄。本文旨在給數據可視化（Data Visualization）下一個定義，盡力為大家引入數據可視化的無窮趣味和無盡可能性。
那么，什么是數據可視化呢？
出色的可視化作品往往都有奪目而入的標題，搭配得當的顏色，文如其義的字體，真知灼見的分析。我們其實在欣賞一幅好的可視化作品的同時，也在欣賞”交流的藝術“，”顏色的藝術“，”字體的藝術“，”分析的藝術“等等等等。當此類藝術致力于將數據呈現給大眾時候，就成了“數據可視化的藝術”。其實早有學者先賢在數據可視化領域做出許多探索和成就。當今國際數據可視化界的翹楚Nadieh Bremer(作者認她為數據可視化第一人）曾對數據可視化下過定語：“Encode data into visual elements”。即，把數據編入視覺元素。白話就是：“看見”數據。但是，光是看得見數據，就夠了嗎？我們又想“看”出什么呢？色彩斑斕的美感？發人深省的見解？還是可以自由探索的頭腦風暴平臺？管中窺豹，只可見一斑。
展開 
數據的格式化方法（編碼，規范化，正則化）
學習的素材就是數據，不論是監督學習還是無監督學習，良好的數據是成功訓練學習模型的保證。不難理解，學習器能識別的數據必然具備一定的格式。本文研究數據編碼，數據規范化（標準化），數據正則化。
自研流場可視化軟件（VTK數據可視化/數值模擬可視化）
</p><p>處理時序數據（時間步、快照、單步場），保留元數據（單位、坐標系、時間戳、網格信息、邊界條件等）。</p><p><strong>2.基本可視化能力</strong></p><p>標量場可視化：等值面、等值線、曲面切片、體繪制、色彩映射、傳遞函數、色帶注記。</p><p>向量場與張量場可視化：箭頭場、箭頭密度控制、流線、流束、路徑線、霧化/LIC 等。</p><p>體繪制與光照效果：體積渲染、霧化、光線追蹤、陰影與光照調參。</p><p>交互式切割/裁剪、平移/旋轉/縮放、裁剪體的布爾組合。</p><p><strong>3.高級可視化與分析工具</strong></p><p>流線、流束和粒子追蹤（在時間依賴數據中的粒子追蹤、時間步序列）。</p><p>渦結構與渦量分析：渦度、Q-criterion、λ2、swirling strength、渦核識別等。</p><p>標量-向量場聯合可視化：如在同一視圖中顯示溫度場和速度場的關系、等值面的疊加。</p><p>統計與分布分析：均值、方差、峰度、直方圖、PDF、時間序列分析、功率譜等。</p><p>數據降維與降噪：濾波、平滑、局部擬合、小波變換、降維方法（POD、ICA、DMD 等的可選實現）。</p><p><strong>4.時間與動畫能力</strong></p><p>時間步的逐幀查看、時間線滑塊、時間重采樣/插值、動態更改參數的可視化。</p><p>動畫導出（視頻、序列圖像）與時間軸標記。
展開 什么是數據化轉型？如何實現數字化轉型
數字化轉型就是利用數字化技術來推動企業運營模式轉型，也是組織架構，企業文化等的變革措施。
數字化轉型要求企業發動全員在各個層級、各個價值鏈上采用日益商業化的數字突破性技術 利用各種新型技術，如移動、Web、社交、大數據、機器學習、人工智能、物聯網、云計算、區塊鏈等一系列技術為企業組織構想和交付新的、差異化的價值，由此改變運營方式，實現深刻而顯著的現有和新興業務價值，以滿足客戶日益增長的需求，因此數字化轉型是技術與運營模式的深度融合，數字化轉型的最終結果是運營模式的變革”
對傳統企業來說，時代的快速發展已經逼迫傳統企業不得不考慮業務模式轉型。
從技術角度來說傳統單體應用系統或單體-集成方式已經難以適應新業務發展和創新的要求。物聯網、云計算、大數據、人工智能等相互促進，以數據融合為紐帶，以技術融合為手段，以業務融合為支撐，提升企業的生存能力、業務創新能力，從而適應新的環境要求，實現業務變革和效率提升。
數字化就是要通過各種技術手段收集企業日常運營和創新所需的數據；客戶使用產品或服務的體驗數據；市場變化數據；行業趨勢數據等等，形成企業日常運營的全景圖、客戶全景圖、產品全景圖、市場變化及行業趨勢全景圖等，從而提升企業運營效率，創造新的業務模式。企業通過數字化手段挖掘數據的價值，發現企業運營中可以改善的地方，甚至開發新的業務模式。實施數字化轉型可以為企業帶來巨大的價值，包括降本增效、提高生產效率、減少人力成本、加速產品迭代和提升制造的自動化程度等。但是，轉型的愿景雖然美好，現實卻遠遠不如人意。
首先是企業家的數字化轉型思維不夠，包括對轉型認知的貴乏在思想上不愿意接受企業數字化轉型帶來的企業經營思路，難以適應企業內部運營模式的改變，其次，企業數字化轉型需要長期且額度較大的資金投入，企業在經濟增長速度放緩的情況下，確實有一定難度。
展開 三維數據可視化與傳統可視化的差別
且技術人員還需定時執行根據數據信息頁面紀錄，過后剖析欠缺數據信息適用。
為何選用三維數字化服務平臺?
1.選用虛擬化技術情景，提升視覺的易用性，提升技術人員對機房管理三維空間認知。促使數據信息顯示信息越來越栩栩如生化，根據服務平臺頁面技術人員可迅速得知主機房概述。
2.提高機房、設備數據信息的形象化精確性、提升其使用率。藝術化的虛似情景和真正數據信息緊密結合，為供電系統的日常管理、投資管理、擴建工程工程項目審核和建設工程等出示重要依據。根據空間布局來主要表現固資部位，提升技術人員對固資數據信息的反應時間。提升對主機房資源的管理方法，保持對財產商品應用周期時間內的全線監控器和追蹤，提升通訊系統的運作水準。
3.把多種多樣監控器數據信息融為一體，創建統一監控器對話框，更改監控器數據孤島狀況，保持監控器專用工具、監控器數據信息的使用價值利潤最大化。且頁面設計形象化，圖型立即收看。非機房監控工作人員都可以順手實際操作，簡易易入門。
展開 基于Web的三維數據輕量化可視化系統 Simright 3DLite
產品優勢
海量仿真數據管理：
隨著CAE仿真規模的擴大，仿真模型的精細化，仿真結果文件也動輒達到了幾百個GB的大小。Simright 3DLite數據壓縮壓縮率可達10%-20%，對海量的仿真數據進行高效壓縮及統一的歸檔和管理。
仿真結果共享和交流：
而隨著CAE仿真模擬的精細化運營，越來越需要不同部門和組織之間的，諸如設計、優化、分析、試驗等各部門之間的高效協同。Simright 3DLite 通過自動化和智能化手段，將原本冗長繁雜的仿真優化流程大幅度縮短。提高效率，能夠以最小的時間成本快速應對市場反應,迭代試錯,幫助企業在激烈市場競爭中,搶占先機。
提高企業正版化：
在企業大力推廣降本增效管理需求下。Simright 3DLite能夠幫助仿真人員快速瀏覽CAE仿真結果數據，擺脫昂貴的CAE后處理軟件，以最低的成本提升企業軟件正版化水平，維護公司的市場形象，降低法律訴訟風險和成本。
國產化替代需求：
隨著美國技術封鎖名單的日益增加，國產自主知識版權的Simright 3DLite支持主流CAD/CAE數據格式，幫助企業降低對特定工業軟件的依賴，避免美國封鎖造成生產系統突然停滯的可能性。還能夠對數字資產實現保值，對仿真結果文件，轉換成中性國產格式長期存儲，保證數據資產價值。
展開 質量管理丨數據驅動質效雙升，數字化質量平臺破解集團化企業質量困局
在當前激烈的市場競爭中，集團企業質量管理面臨嚴峻挑戰，普遍存在的質量數據孤島現象尤為突出。據統計，85%的制造企業質量數據分散于ERP、MES、檢測設備等不同系統。例如，某汽車零部件廠商因數據未互通，客戶投訴處理周期長達15天，客訴率上升20%，嚴重影響企業聲譽和市場競爭力。
與此同時，集團內部各子公司或業務單元質量管理水平參差不齊：部分仍依賴傳統手工記錄與人工管控，效率低下且易出錯；部分雖引入信息化系統，但系統老舊、功能單一，難以滿足復雜業務需求。此外，質量檢驗滯后、異常處理脫節等常見現象暴露出流程管理薄弱、體系運行形式化等問題，這些問題嚴重制約集團整體質量提升和業務發展。因此，對于集團化企業來說，構建統一、高效的質量管理信息化系統迫在眉睫。
打造全流程數字化解決方案
海克斯康數字化質量平臺針對當今數字化轉型背景下集團化企業質量管理面臨的挑戰和痛點，提供從質量管理到企業風險預防的全流程管理的QMS軟件，以更好實踐的方案組合滿足用戶數字化轉型質量管理需求。
海克斯康數字化質量平臺咨詢服務團隊具備質量管理數字化項目咨詢規劃與系統落地的專業能力，可協同集團高層領導組成項目領導小組，負責整體規劃、決策與資源協調，為企業提供涵蓋咨詢、輔導、系統落地的全流程服務，驅動質量管理變革。
數字化質量平臺解決方案
01
構建全面質量體系
以ISO 9001等國際標準為指導，建立覆蓋集團各業務環節、各層級的質量管理體系，確保質量管理工作標準化、規范化，實現從質量策劃、執行、檢查到處理的 PDCA 閉環管理。
02
強化產品實現過程管控
對產品設計、采購、生產、檢驗、銷售及售后全生命周期進行實時質量監控，利用先進技術手段（如AI、物聯網）及時發現質量問題，降低缺陷率，提高產品一次合格率，增強產品市場競爭力。
展開 康謀產品 | 深度自然匿名化：隱私保護與視覺完整性并存的未來！
</p><div contenteditable="false" width="100%"><figure class="figure-image" data-img="https://img.jishulink.com/202501/attachment/4d60e049d4df4fa9b8ab758e481a2d86.png" style="text-align: center"><img src="https://img.jishulink.com/202501/attachment/4d60e049d4df4fa9b8ab758e481a2d86.png"></figure></div><p><br></p><h3><strong>6、展望未來</strong></h3><p><strong>（1）模糊技術的局限性：</strong>模糊化會刪除數據，在需求出現時僅能<strong>提供極少可用數據。</strong></p><p><strong>（2）DNAT的優勢：</strong>由于能夠保留語義分割，DNAT通常是公司選擇的匿名化技術，這使其成為<strong>適合駕駛分析和機器學習</strong>的匿名化方法。因此，它已成為依賴分析和機器學習的企業選擇<strong>的匿名化解決方案</strong>。我們堅信未來準備的重要性，并優先選擇DNAT而非其他匿名化技術。</p><h2><strong>二、總結</strong></h2><p>隨著隱私問題的日益增長，對<strong>強大而有效的匿名化技術</strong>的需求變得至關重要。如今，許多公司需要明智地選擇合適的匿名化供應商。盡管模糊化曾是一個廣受歡迎的選擇，但<strong>深度自然匿名化（DNAT）</strong>的出現徹底革新了這一領域。
展開 
Flownex在智能化數據中心的應用
根據《“十三五”國家信息化規劃》的要求：
■ 到2018年，云計算和物聯網原始創新能力顯著增強，新建大型云計算數據中心電能使用效率(PUE)值不高于1.5；
■ 到2020年，形成具有國際競爭力的云計算和物聯網產業體系，新建大型云計算數據中心PUE值不高于1.4。
02
從數據中心的能耗組成來看，制冷系統是節能的重點。
數據中心的常規冷卻方式主要包括：
■ 風冷型直接蒸發式空調系統
■ 水冷型直接蒸發式空調系統
■ 冷凍水型
■ 機房空調系統
冷卻方式對比：
數據中心冷卻系統使用到的設備有蒸發器、閥門、冷板、冷凝器、管路、泵、控制閥、接頭、三通、換熱器等元件，使用一維系統軟件能夠方便的建立冷卻系統模型，快速得出系統運行設備之間的物理關系。
Flownex 是一個通過 ISO9001:2008 質量認證的管網系統仿真軟件，能快速、準確、高效地模擬復雜的熱流動環境，并對復雜的熱流系統進行設計和優化。
■ Flownex 具有強大的仿真能力，可計算氣體、液體、氣體混合物以及均勻兩項流的流動,能模擬分析快速變化及慢速變化的動態過程。
■ 利用 Flownex 能夠搭建包括泵、管路、閥、冷塔換熱器、控制閥、過濾器等設備的數據中心冷卻系統，進行穩態和瞬態計算，計算系統各元件的壓力、流量變化和換熱情況。
■ Flownex 中豐富的傳感器、PID控制、數學邏輯運算器、自定義腳本等控制器類元件，還能夠實現數據中心各季節復雜的控制策略。
展開 數字化極坐標數據取樣
方位角開始于方位角軸，延伸到與極化和方位角方向矢量定義平面相垂直的面。極矢量和方位角矢量的叉乘確定了方位角的正向方向。極矢量(0,0,1)和方位角矢量(1,0,0)的例子如下圖所示。
步驟3：數字化極坐標圖數據
為了從極坐標圖中數字化取樣數據到光線方向規格表中，我們可以在電子表格區域右鍵點擊鼠標，在列表菜單里選擇“數字化曲線”。
在數字化工具對話框中使用“選擇圖像”按鈕，從規格表中選擇一個極坐標圖的圖像文件。FRED數字化工具允許的圖像文件格式是*.bmp, *.pcx, *.jpg, *.tga, and *.tif。
隨著圖像文件載入到數字化工具中，選擇“極坐標圖”選項。
在極坐標圖的情況下，X和Y滿足極坐標的條件：
分別沿著X和Y軸，它們的取值范圍為0到1。
接著，點擊“選擇X,Y最小值點”按鈕，然后在極坐標圖中選擇rho=0,theta=0的點。在下面的圖中，0,0點是藍色的。
下一步，點擊“選擇X最大值點”按鈕。選擇X軸的一個點（不一定是最大值），然后輸入相應的值到“X最大值”文本框中。
下一步，點擊“選擇Y最大值”按鈕，選擇沿著Y軸的一個點，輸入對應的值到“Y最大值”文本框中。
最后，點擊“選擇數據”按鈕，開始沿著極坐標曲線中選擇點。注意到在對話框的頂端，數字化工具列出了極坐標系中正被選擇的這些點的信息。
一旦我們在極坐標圖中選擇好了這些點，點擊“導出數據”，就會將數字化的點送回到光線方向對話框中。
展開 [FRED] 數據收集面可視化
數據收集面可視化（Data Collector Surface Visualization）分析選項允許用戶指定模型中的某一表面，在光線追跡的過程中收集光線數據，并顯示或者輸出該面的照度（或相關的物理量）。該分析選項允許計算（包括多面體曲面面型在內的）任意形狀的曲面。同時，因為一個多面體曲面可被用來創建多個不同的面，該選項也是計算多個表面時的一個便捷方法，而不用建立多個分析面或者探測器實體。
“多面體表面Faceted Surface”面型的建立 參見 導入OBJ格式文件 ，OBJ文件由通過第三方CAD軟件建立或者 FRED的幾何體按OBJ格式導出的 參見 導出OBJ格式文件 。
文中的FRED案例場景是房間內墻角光源對物體的照明。案例中的四面墻壁和地板由一個多面體表面建立，被照射物體由另一個多面體表面表示。案例中，因為房間和物體的鍍膜屬性不同，所以使用兩個不同的多面體表面。在當前場景中，物體被某一角落的光源照射。
數據收集面可視化分析設置位于分析菜單欄下。顯示計算數據時，需要重點做一下設置。
? 繪制數據面 = 真 DrawDataFacets = True
? 數據顯示類型（選擇需顯示的物理量） DisplayDataType（choice of quantity to display）
? 顯示圖例 = 真 ShowLegend = True
? 數據收集面（選擇需要顯示的多面體曲面） Data Collector Surfaces（choice of which Faceted surfaces upon which to display data）
?
光線追跡后，數據會自動顯示在3D視圖中。
展開 【喜訊】《數巧三維數據輕量化可視化系統》獲得上海市2021年度科技型中小企業技術創新資金計劃支持！
喜訊
根據《中共中央辦公廳、國務院辦公廳關于深化項目評審、人才評價、機構評估改革的意見》等文件要求， 上海數巧科技推出的《數巧三維數據輕量化可視化系統》項目被列入上海市2021年度科技型中小企業技術創新資金計劃擬立項項目
衷心感謝每一位用戶的支持，數巧將不負使命，繼續砥礪前行！
延伸閱讀：https://mp.weixin.qq.com/s/Cc-OVTkMFAv72CfJzp0jLg
上海數巧信息科技有限公司
電話：021-50331908
郵箱：info@simright.com
網址：www.simright.com
上海 - 北京 - 深圳 - 西安 - 武漢 - 成都
展開 