數據閉環技術的案例
數據閉環研究：自動駕駛發展從技術驅動轉向數據驅動
再比如，Momenta實現了領先的全流程數據驅動的技術能力，包括感知、融合、預測和規控等算法模塊都可以通過數據驅動的方式高效的迭代與更新。其閉環自動化(Closed Loop Automation)是一整套讓數據流推動數據驅動的算法自動迭代的工具鏈。CLA能自動篩選出海量黃金數據，驅動算法的自動迭代，讓自動駕駛飛輪越轉越快。
來源：Momenta
軟件定義汽車背景下，數據、算法和算力是自動駕駛開發的三駕馬車。車企研發周期縮短、功能迭代加速，未來能夠持續地低成本、高效率、高效能收集數據，并通過真實數據迭代算法，最終形成數據閉環及商業閉環是自動駕駛企業可持續發展的關鍵所在。
文章來源：佐思汽車研究
免責聲明：本文系網絡轉載，版權歸原作者所有。如涉及版權，請聯系刪除！
展開 萬字綜述自動駕駛數據閉環
來源 |
知乎@黃浴
最近自動駕駛和數據閉環結合在一起成為一大解決方案，原因是自動駕駛工程已經被認可是一個解決數據分布“長尾問題”的任務，時而出現的corner case（極端情況）是對數據驅動的算法模型進行升級的來源之一，如圖所示。
構成這個自動駕駛數據閉環的核心技術和模塊都有哪些呢？首先是這個自動駕駛的算法和模塊是數據驅動的，其次源源不斷的數據需要有合理有效的方法去利用。
如圖是Tesla眾所周知的Autopilot數據引擎框架：確認模型誤差、數據標注和清洗、模型訓練和重新部署。
這是谷歌waymo報告提到的數據閉環平臺：其中有數據挖掘、主動學習、自動標注、自動化模型調試優化、測試校驗和部署發布。
如圖是英偉達公司在自動駕駛開發建立的機器學習平臺MAGLEV，也是基于閉環的模型迭代：其中有smart的數據選擇、數據標注、模型搜索、訓練、評估、調試和部署。
下面對數據閉環各個組成部分進一步討論：
自動駕駛的數據驅動模型；
云計算平臺的基建和大數據處理技術；
訓練數據標注工具；
大型模型訓練平臺；
模型測試和檢驗；
相關的機器學習技術。
1 自動駕駛的數據驅動模型
應該說，自動駕駛的算法模塊，基本都是數據驅動的訓練模型要優于基于規則或者優化的，尤其是感知和預測。
展開 自動駕駛感知數據閉環簡析
在自動駕駛技術中，軟件系統是最具有技術壁壘的領域之一。近年來，國內外成立了不少自動駕駛創業公司，花費了大量人力物力投入到自動駕駛軟件系統的開發中，每一行代碼、每一個專利，都是它們未來競爭的底氣和資本。可以說，自動駕駛軟件系統是上述公司最核心的資產之一。
百度是國內最早投入自動駕駛技術研發的公司之一。Apollo是百度發布的向汽車行業及自動駕駛領域合作伙伴提供的軟件平臺，不僅在全球各種權威自動駕駛榜單中成績斐然，也在商業化推進上有著驚人的速度。下圖是Apollo開源項目的系統架構。
圖1. Apollo 6.0 Architecture，
來源：Apollo項目GitHub
地址：https://github.com/ApolloAuto/apollo
簡單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開源軟件平臺，它是圖中位于右側的各個子模塊的總稱。RTOS（real-time operating system）是實時操作系統，實時性是它的最大特征，它為上層功能模塊的高效執行提供底層環境。
Map Engine是地圖引擎，在軟件中負責獲取各類地圖數據，并提供相應的地圖數據功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車周圍環境信息的功能模塊，負責將各類傳感器收集到的數據進行加工和處理，用結構化的結果來描述汽車周圍的場景。Planning是規劃模塊，負責對結構化的場景信息進行下一步的處理，通過計算得到一條安全可通行的路徑。
展開 萬字綜述：如何打造自動駕駛的數據閉環？
來源 |
黃浴@知乎、汽車電子與軟件
最近自動駕駛和數據閉環結合在一起，原因是自動駕駛工程已經被認可是一個解決數據分布“長尾問題”的任務，時而出現的corner case（極端情況）是對數據驅動的算法模型進行升級的來源之一，如圖所示。
構成這個自動駕駛數據閉環的核心技術和模塊都有哪些呢？首先是這個自動駕駛的算法和模塊是數據驅動的，其次源源不斷的數據需要有合理有效的方法去利用。
如圖是Tesla眾所周知的Autopilot數據引擎框架：確認模型誤差、數據標注和清洗、模型訓練和重新部署。
這是谷歌waymo報告提到的數據閉環平臺：其中有數據挖掘、主動學習、自動標注、自動化模型調試優化、測試校驗和部署發布。
如圖是英偉達公司在自動駕駛開發建立的機器學習平臺MAGLEV，也是基于閉環的模型迭代：其中有smart的數據選擇、數據標注、模型搜索、訓練、評估、調試和部署。
下面對數據閉環各個組成部分進一步討論：
自動駕駛的數據驅動模型；
云計算平臺的基建和大數據處理技術；
訓練數據標注工具；
大型模型訓練平臺；
模型測試和檢驗；
相關的機器學習技術。
展開 
視覺閉環控制多材料噴墨3D打印技術，Inkbit劍指規模化量產聚合物零部件
這款設備基于MIT專有的視覺控制噴射技術運行，是一臺提供打印過程閉環反饋控制的 3D 打印機。使用專有的 3D 掃描系統在沉積后生成每一層的圖像。來自每一層的掃描數據與源零件幾何形狀結合使用以生成下一層。動態、實時的圖層生成確保每次都能快速準確地構建零件。
△打印過程，平臺移動
3D 掃描的數據還用于訓練機器學習算法，使 3D 打印機能夠學習每種材料的特性并做出預測。這確保了每次都能快速，準確地制造零件。每層掃描還能夠為打印的每個零件生成完整的 3D 重建，從而為每個打印提供完整的數字記錄，從而確保對每個零件進行100％的質量控制。
Vista專為車間而打造，面向尋求快速原型制作和最終用途生產的制造商，并適合在多材料機器人，牙科，汽車甚至產品包裝中使用。其四大產品亮點為：
●大批量打印尺寸準確且精密的零件
●具有強大熱性能和機械性能的高性能聚合物
●低成本、低勞動力、易于去除蠟的支撐材料
●多材料能力
△南極熊實拍視頻
Inkbit Vista的打印體積為500 毫米 x 250 毫米 x 200 毫米，并帶有16個打印頭，可以在一次打印中使用四種材料，其中包括一種支撐材料。它可以使用剛性和柔性材料的組合，結合定制的電氣組件和芯片，生產出完整的最終用途物品。
打印零件時可以將零件堆疊以擺滿整個打印倉，從而實現高效率的生產，因此需要用到支撐材料。Inkbit在現場還展示了去除支撐的方式，看起來很簡單，只需要4個步驟。
此外，現場還展示了剛打印完的平臺和零件，去除支撐后的零件以及將零件拆開后的最終狀態。
展開 【技術】DTEmpower核心功能技術揭秘(3) - HDDV高維數據可視化技術
因此，在開展具體的建模工作之前，對數據集進行細致、深度的挖掘，就顯得很有必要。DTEmpower的HDDV模塊提供了豐富的可視化圖庫模板，為用戶“可視化”探索數據模式提供了一條便捷可信賴的技術途徑。
DTEmpower致力于為工業數據研究者掃清各種障礙、提供易用可信賴的技術支撐！該軟件平臺不僅提供了一站式的數據建模解決方案，還提供了功能強大的數據挖掘如異常點檢測、高維可視化、特征工程等支撐技術。可以幫助用戶快速、便捷的深入挖掘數據，為建立高精度的數據模型提供了一條高效可落地的實現路徑。
DTEmpower核心功能技術系列：
【技術】DTEmpower核心功能技術揭秘(1) - HierachicalStratify分層分類技術
【技術】DTEmpower核心功能技術揭秘(2) - AIOD智能異常點檢測技術
展開 技術 \\ 數據中心液冷化改造適用技術探析
01
液冷是高密度IDC能耗優化的技術趨勢
當前，福建省現網數據中心機架規模已近5萬個標準機架（2.5kw/機架），平均實測PUE（Power Usage Effectiveness，電能利用效率）為1.69，距離國家提出“2025年新建大型、超大型數據中心PUE要低于1.3”的要求還有一定差距，需要行業通過節能改造、加快市場拓展、升級迭代等多措并舉，推動行業綠色低碳化高質量發展。
圖1 數據中心能耗分布圖
數據中心是眾所周知的行業耗能大戶，其中散熱能耗占比超40%。據賽迪研究院統計，43%的能耗是用于數據中心設備散熱，與數據中心設備自身能耗45%基本持平。根據中國信息通信研究院的研究，數據中心電費占數據中心TCO（整體運營支出）的60%~70%。可見，實現更高效的散熱，無論是對于數據中心節能降耗、減少TCO，還是推動數據中心朝著大型化、智能化方向發展都具有重大意義。
相比傳統風冷技術，液冷的優勢體現在三個方面。
一是液冷技術的高效制冷效果（液體帶走熱量是同體積空氣的3000倍，液體導熱能力是空氣的25倍）有效提升了服務器的使用效率、降低故障率，同時使得數據中心在單位物理空間可以部署更多的服務器，提高數據中心運算效率。
二是液冷技術的應用，替代了傳統數據中心的風扇、精密空調等風冷基礎設施，相應增加了循環泵及冷卻液系統，與傳統的空調系統相比噪聲更小。
三是液冷技術應用不受海拔、氣壓等地域影響，可以保持較高的散熱效率，保證數據中心在高海拔地區的運行效率和性能，余熱還可以滿足附近居民的供暖、溫水供應等需求，為數據中心創造更多的附加價值。
因此，液冷替代風冷是高密度數據中心演進不可或缺的散熱技術方向。
展開 康謀技術 | 多傳感器數據融合技術與策略解析
在汽車行業邁向智能化、自動化的今天，自動駕駛技術也在快速發展。為了進一步讓自動駕駛更加“智能化”，像老師傅一樣進行開車，離不開對車輛周圍環境的全面認識。
面對復雜的感知任務，單一傳感器的局限性逐漸顯現，比如相機對目標的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標精確的3D信息，但無法獲得目標紋理，易產生噪點等情況。多傳感器數據融合技術應時而生，通過整合不同傳感器的優勢，為車輛提供了一個全面、立體的感知維度。
一、多傳感器融合的先決條件
當多種傳感器裝在同一輛車上時，使用同一個系統來采集并處理數據。為了確保這些傳感器采集的數據能有效精準識別同一個物體，需要對這些傳感器進行統一時鐘和坐標系，即最終實現：同一個目標在同一個時刻出現在不同類別的傳感器的同一個世界坐標處。
圖1：傳感器融合先決條件
1、統一時鐘
確保所有傳感器數據在時間上的一致性，為后續處理提供同步基準。關于時間同步的詳細內容可見往期內容：
《自動駕駛：揭秘高精度時間同步技術（一）》
https://www.yqgqt.org.cn/post/1942685
《自動駕駛：揭秘高精度時間同步技術（二）》
https://www.yqgqt.org.cn/post/1943634
2、統一坐標系
統一坐標系包含兩步，一是運動補償，二是傳感器標定。
① 運動補償：確保數據時效性
運動補償是針對周期性采集數據的傳感器，如激光雷達（LiDAR），其數據采集周期可能長達100毫秒。
展開 技術干貨|數據中心自動化運維技術探索之交換機零配置上線
對此，各廠家做了許多的探索，比如零配置上線技術。
二、數據中心自動化開局
隨著數據中心規模的不斷增大，標準化的建設方式已經成為主流。每個集群內的服務器以及網絡設備的規模都是固定的，對應到網絡設備的配置策略也是一致的（當然IP等基礎信息會略有不同）。因此，在這樣標準化、規范化的場景下，我們可以將這些重復性的、機械性的工作編成處理邏輯，交給網絡設備自己去完成上線工作，進而解放人力，同時也降低了人們出錯的風險。
廠商對于自動化上線技術的開發，主要是利用編程語言（比如Python、Go等）進行邏輯處理，讓網絡設備自行加載，完成上線，例如ZAM技術（Zero-configure Automatic Manage）。
交換機自動化上線的思路：新出廠或空配置的設備上電啟動后自動向文件服務器中獲取文件并加載（包括版本文件、配置文件、補丁文件等），實現設備的免現場配置、部署，從而避免了運維人員重復地執行刷腳本、升級等機械性操作，提升開局效率。
以ZAM技術為例，首先要在運維端搭建統一的DHCP服務器和TFTP服務器（可以是同一臺服務器），基于架構標準化設計和項目信息提前生成每臺設備的完整配置文件以及版本文件，同時這些文件的文件名需要與設備的SN關聯起來，確保每個配置文件可以對應唯一一臺具體的物理設備。
圖2 零配置上線方案架構
交換機加電起機后會主動發起DHCP請求，通過Option拿到TFTP服務器的地址以及腳本名稱。通過TFTP的方式下載到腳本文件后，解析并執行。然后自動進行版本的升級以及配置文件的加載，重啟后完成設備開局。主要流程如下：
圖3 零配置上線流程
細節可以分拆成幾個階段來理解：
1.
展開 射出加工螺桿技術數據
射出加工螺桿技術數據
■ 型創科技/ 劉文斌 技術總監
決定射出加工機臺需求
Determining Injection Requirements A variety of injection requirements for a specific application can be determined mathematically. Some of these are addressed below.
塑化剪切速率(Shear Rate in Plasicizing)
螺桿塑化的剪切速率的定意是指在加熱料管中的塑料， 經螺桿轉動塑化過程中，其在料管管壁上的表面速度除 以螺管螺牙溝槽的深度，此剪切速率的數值可以表示為 ft/min. 此剪切訴率的計算公式可以下式來表示： SR = (D x N) / h, 式中 SR = 剪切速率(Shear Rate) D =螺桿φ(screw diameter) N = 螺桿轉速(rate of screw rotation) h = 螺桿溝槽深度(depth of channel)
一般塑料的平均剪切速率(shearrate)值約為150ft/min (ab.760mm/s)，但是每種塑料都有一個特定的最大剪 切速率容許參考值，一旦作用在塑料上的剪切速率超過 此最大值，塑料就會比較容易產生裂化現象。例如對 于熱較敏感的PVC材料，其最大可容許的剪切速率值就較低，約為 100ft/min(ab.500mm/s)，而對熱不敏 感的塑料其最大可容許的剪切速率值約可達到175ft/ min(ab.890mm/s)或更高。
剪切速率數值對塑料的影響，可以直接反應在材料 塑化時螺桿轉動的可允許轉速上。
展開 大數據建模、分析、挖掘技術
隨著《關于印發促進大數據發展行動綱要的通知》發布，各類型數據呈現出了指數級增長，數據成了每個組織的命脈。今天所產生的數據比過去幾年所產生的數據大好幾個數量級，企業有了能夠輕松訪問和分析數據以提高性能的新機會，如何從數據中獲取價值顯得尤為重要，也是大數據相關技術急需要解決的問題。大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。數據建模不僅僅是任意組織數據結構和關系，還必須與最終用戶的需求和問題聯系起來，并提供指導，幫助確保正確的數據正確使用正確的方法獲得正確的結果。
為響應科研及工作人員需求，根據《國務院關于推行終身職業技能培訓制度的意見》提出的“緊跟新技術、新職業發展變化，建立職業分類動態調整機制，加快職業標準開發工作”要求，中國管理科學研究院現代教育研究所（http://www.pdhb.org.cn）聯合北京龍騰亞太教育咨詢有限公司特舉辦“大數據建模、分析、挖掘技術應用研修班”。本次培訓采用實戰培訓模式。
本次培訓由北京龍騰亞太教育咨詢有限公司承辦并進行相關費用收取及發票開具。具體通知如下：
一、時間安排:
2023年8月18日 — 2023年8月22日 上海（同時轉線上直播）
（18日報到發放上課材料，19日-22日上課）
二、培訓目標
1.掌握大數據建模分析與使用方法。
2.掌握大數據平臺技術架構。
3.掌握國內外主流的大數據分析與BI商業智能分析解決方案。
4.掌握大數據分析在搜索引擎、廣告服務推薦、電商數據分析、金融客戶分析方面的應用。
5.掌握主流的基于大數據Hadoop和Spark、R的大數據分析平臺架構和實際應用。
展開 
技術 \\ 數據中心間接蒸發自然冷卻
來源 |
制冷空調換熱器
間接蒸發冷卻技術在數據中心領域的應用，近年來漸漸得到了國內互聯網大廠的青睞，且在國內的很多地區都有了應用案例。
無人機數據鏈的主要技術參數解析
3、時延：從發送端接收到第一個字節數據到接收端串口輸出數據的第一個字節所需要的時間。數據傳輸延時是無線數據傳輸與有線數據傳輸的最大區別。
無人機數傳電臺正常傳輸時的時延比較小（某數傳電臺給出的收發時延是7ms），比圖傳時延小很多，所以一般不用考慮該指標；但是，若是發生數據擁堵的時候，時延會大大增加，甚至是秒級的，這時候就影響使用了。
4、誤碼率（BER=bit error）是衡量數傳電臺數據在規定時間內數據傳輸精確性的指標。通常數傳電臺的誤碼率應該：BER≤10e-6。
無人機數字圖傳的主要技術參數
無人機數字圖傳選型時，需要關注的主要技術參數：
1、時延：圖傳的時延主要來自圖傳編碼和攝像機成像。實際應用中，選型要求為相機到顯示器之間的延時小于500ms，小于300ms更好。
無人機數字圖傳在正常使用時，時延是相對固定的，可以看到的視頻也會比較流暢；但是，在受到干擾或有遮擋的時候，時延會大大增加，甚至是秒級的，這時候看到的視頻就是卡頓的了。
2、通信距離，這個指標很關鍵，不能只看廠家的標稱，需要自己實測，以裝到整機上實際測試的結果為準。
3、頻段：圖傳的工作頻段，常見的是300~600MHz之間的，也有2.4GHz和5.8GHz的圖傳。
4、
發射功率：指圖傳發射端的發射功率。
針對工業級多旋翼無人機，要求發射功率≤1W，否則容易對飛控或數傳模塊造成干擾。
展開 利用CFD技術對數據中心機房進行模擬
利用這種方法可以測得不同比例IT荷載下精密空調系統的制冷能力和回風溫度，從而為以后的運維提供數據依據。假負載測試被大多數數據中心運營公司廣泛采用，但是其缺點也是非常顯著的。首先假負載測試需要購買或租賃大量帶有純電阻原件的假負載，并根據測試需要選擇很多不同功率級別的假負載或者可調節功率的假負載；測試前需要耗費大量人力和時間布置假負載，測試時需要繁多的測點數據記錄，測試一個工況的周期較長；另外，數據中心并非每次假負載測試都有實施的客觀條件。以上缺陷，對于規模較小的數據中心往往是難以承受的。然而，計算流體力學（CFD）的發展為解決上述問題提供了一種新的途徑。用計算流體力學技術，對數據中心系統進行建模，并對求解域進行網格化，然后求解質量守恒、動量守恒和能量守恒三大基本方程的數值形式、利用合理的時間格式，計算出穩態或瞬態數據中心內的溫度場和速度場。而且數據中心的的相關CFD數值計算方法一般不涉及多相流、大渦旋、高速流等一些CFD領域的難點問題，求解算法已比較成熟，且能達到較高的準確度。通過CFD技術預測不同負荷下空調系統的制冷性能和回風溫度，具有比傳統假負載測試更方便、更快速的優點。
這里采用的是6sigmaDC軟件對某個數據中心進行建模和計算。6SigmaDC是一款專用于數據中心領域的CFD仿真工具，還可以用于對電子元器件的熱仿真分析。6SigmaDC提供了大量數據中心專有模塊，幫助用戶快速建模，例如：PDU（分布式供配電單元）、UDF（不間斷供電系統）、精密空調單元、機柜等。此外，6SigmaDC的PAC study功能也方便用戶對不同工況案例進行控制變量后的不同結果對比研究。
根據項目數據中心實際規模，數據中心規模為1131㎡，高3.44m，架空地板的高度為0.64m，采用下出風空調，架空地板下面的空間相當于靜壓箱的作用。
展開 數據存儲的秘密、取舍與技術動向
這意味著要根據下列因素進行智能數據分層：
所擁有的數據類型，現在和未來長期計劃如何使用數據
支持的工作負載類型
關鍵業務應用的性能要求，包括吞吐量和延遲
用戶和應用的數據訪問要求
監管和合規要求
預算限制
符合業務計劃和優先事項的智能數據策略能幫助企業縮短上市時間、優化投資回報，并憑借卓越的服務質量從競爭對手中脫穎而出。
制定智能數據策略不適合由自己孤立地完成。一個精心選擇的技術合作伙伴團隊可提供專家指導，確保最佳利用您的現有資產和未來投資。
您的團隊可能包括現有IT合作伙伴、原始設備制造商（OEM）、軟件供應商和云服務提供商，以及英特爾這樣視野廣闊的技術領袖，他們能讓您的數據策略提升到更高層次。
通過卓有遠見的技術合作伙伴讓您能夠預見未來的存儲發展趨勢。
后續行動
數據中心正在快速變化并將一直不斷地變化，新的應用和數據要求以前所未有的速度涌現。您的存儲基礎設施需要憑借智能數據策略做好準備，該策略必須整體反映全局業務策略和未來需求。
英特爾可助您一臂之力，我們提供的英特爾?傲騰?固態盤等相關解決方案將以全新方式對性能、容量和可擴展性加以平衡，同時為您最佳地提升數據、存儲和內存的經濟性。
英特爾?傲騰?固態盤與英特爾?3D NAND固態盤和英特爾?至強?可擴展處理器相配合，可幫助企業應對最苛刻的數據挑戰。
展開 