數(shù)據(jù)融合
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時間：2026-01-04
數(shù)據(jù)融合的實(shí)例教程
傳感器融合將會是邁向自動駕駛及享受旅途時光和駕駛樂趣的關(guān)鍵一步。
多傳感器信息融合算法
智能汽車的顯著特點(diǎn)在于智能，意思就是說汽車自己能通過車載傳感系統(tǒng)感知道路環(huán)境，自動規(guī)劃行車路線并控制車輛到達(dá)預(yù)定目標(biāo)。目前而言，車載感知模塊包括視覺感知模塊、毫米波雷達(dá)、超聲波雷達(dá)、360°環(huán)視系統(tǒng)等，多源傳感器的協(xié)同作用識別道路車道線、行人車輛等障礙物，為安全駕駛保駕護(hù)航。因此，感知信息也需要融合，感知信息也需要相互補(bǔ)充。
這里引出一個重要的概念：多傳感器信息融合（information fusion）。各種不同的傳感器，對應(yīng)不同的工況環(huán)境和感知目標(biāo)。比方說，毫米波雷達(dá)主要識別前向中遠(yuǎn)距離障礙物（0.5米-150米），如路面車輛、行人、路障等。超聲波雷達(dá)主要識別車身近距離障礙物（0.2米-5米），如泊車過程中的路沿、靜止的前后車輛、過往的行人等信息。兩者協(xié)同作用，互補(bǔ)不足，通過測量障礙物角度、距離、速度等數(shù)據(jù)融合，刻畫車身周邊環(huán)境和可達(dá)空間范圍。
圖6：智能汽車感知模塊
信息融合起初叫做數(shù)據(jù)融合（data fusion），起源于1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng)，在20世紀(jì)90年代，隨著信息技術(shù)的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來，多傳感器數(shù)據(jù)融合MSDF (Multi-sensor Data Fusion）技術(shù)也應(yīng)運(yùn)而生。
數(shù)據(jù)融合主要優(yōu)勢在于：充分利用不同時間與空間的多傳感器數(shù)據(jù)資源，采用計算機(jī)技術(shù)按時間序列獲得多傳感器的觀測數(shù)據(jù)，在一定準(zhǔn)則下進(jìn)行分析、綜合、支配和使用。獲得對被測對象的一致性解釋與描述，進(jìn)而實(shí)現(xiàn)相應(yīng)的決策和估計，使系統(tǒng)獲得比它各組成部分更為充分的信息。
一般地，多源傳感器數(shù)據(jù)融合處理過程包括六個步驟，如下圖所示。
展開 這些傳感器各有優(yōu)缺點(diǎn)，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點(diǎn)之一。
毫米波雷達(dá)感知算法的研究起步較晚，公開的數(shù)據(jù)庫也不多，因此，目前多傳感器融合的研究主要集中在融合相機(jī)（圖像）和激光雷達(dá)（點(diǎn)云）的數(shù)據(jù)。
隨著毫米波雷達(dá)在自動駕駛車輛中越來越多的應(yīng)用，它的數(shù)據(jù)如何與圖像進(jìn)行融合，也成為了一個亟需解決的問題。
毫米波雷達(dá)的數(shù)據(jù)一般以 Point Cloud（點(diǎn)云）的形式呈現(xiàn)。理論上說這與激光雷達(dá)的點(diǎn)云類似，只是每個點(diǎn)包含的數(shù)據(jù)不同：激光雷達(dá)的點(diǎn)包括 X、Y、Z 坐標(biāo)和反射信號強(qiáng)度；而毫米波雷達(dá)的點(diǎn)包括 X、Y（也可能有 Z）坐標(biāo)，RCS（物體反射面積）和 Doppler（物體速度）。
因此，很多激光雷達(dá)和圖像的融合方法也可以用來融合毫米波雷達(dá)。
但相對于激光雷達(dá)，毫米波雷達(dá)的點(diǎn)云非常稀疏（幾十 vs 幾千），所以在算法上還需要一些特殊的設(shè)計。
目前來看，大多數(shù)融合算法采用點(diǎn)云數(shù)據(jù)作為輸入，但是也有部分工作采用更底層的雷達(dá)數(shù)據(jù)，比如 Range-Doppler-Azimuth （RAD）Tensor。RAD 數(shù)據(jù)包含更多的信息，需要的運(yùn)算量也更大，但是對于深度學(xué)習(xí)來說，RAD 是更適合的數(shù)據(jù)。
下面會分別介紹基于這兩種數(shù)據(jù)的融合方法，并對其中存在的問題和未來的發(fā)展方向進(jìn)行分析。
展開 這些傳感器各有優(yōu)缺點(diǎn)，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點(diǎn)之一。
毫米波雷達(dá)感知算法的研究起步較晚，公開的數(shù)據(jù)庫也不多，因此，目前多傳感器融合的研究主要集中在融合相機(jī)（圖像）和激光雷達(dá)（點(diǎn)云）的數(shù)據(jù)。
隨著毫米波雷達(dá)在自動駕駛車輛中越來越多的應(yīng)用，它的數(shù)據(jù)如何與圖像進(jìn)行融合，也成為了一個亟需解決的問題。
毫米波雷達(dá)的數(shù)據(jù)一般以 Point Cloud（點(diǎn)云）的形式呈現(xiàn)。理論上說這與激光雷達(dá)的點(diǎn)云類似，只是每個點(diǎn)包含的數(shù)據(jù)不同：激光雷達(dá)的點(diǎn)包括 X、Y、Z 坐標(biāo)和反射信號強(qiáng)度；而毫米波雷達(dá)的點(diǎn)包括 X、Y（也可能有 Z）坐標(biāo)，RCS（物體反射面積）和 Doppler（物體速度）。
因此，很多激光雷達(dá)和圖像的融合方法也可以用來融合毫米波雷達(dá)。
但相對于激光雷達(dá)，毫米波雷達(dá)的點(diǎn)云非常稀疏（幾十 vs 幾千），所以在算法上還需要一些特殊的設(shè)計。
目前來看，大多數(shù)融合算法采用點(diǎn)云數(shù)據(jù)作為輸入，但是也有部分工作采用更底層的雷達(dá)數(shù)據(jù)，比如 Range-Doppler-Azimuth （RAD）Tensor。RAD 數(shù)據(jù)包含更多的信息，需要的運(yùn)算量也更大，但是對于深度學(xué)習(xí)來說，RAD 是更適合的數(shù)據(jù)。
下面會分別介紹基于這兩種數(shù)據(jù)的融合方法，并對其中存在的問題和未來的發(fā)展方向進(jìn)行分析。
展開 詳細(xì)內(nèi)容可見往期內(nèi)容：
《深入探討：自動駕駛中的相機(jī)標(biāo)定技術(shù)》
https://www.yqgqt.org.cn/post/1938216
外參標(biāo)定：在已知的世界坐標(biāo)系下，解決不同傳感器之間的相對位置和方向，確保它們數(shù)據(jù)的一致性。
外參標(biāo)定的準(zhǔn)確性依賴于內(nèi)參標(biāo)定的精確性，只有每個傳感器的內(nèi)參被精確校準(zhǔn)，我們才能準(zhǔn)確地知道它們在世界坐標(biāo)系中的相對位置。
二、多傳感器融合方法
在多傳感器采集系統(tǒng)中做好統(tǒng)一時鐘和統(tǒng)一坐標(biāo)系后，就可以將這些數(shù)據(jù)進(jìn)行融合了。關(guān)于具體做法，這里舉一個簡單的例子：
1、相機(jī)與LiDAR融合
在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動補(bǔ)償和時間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數(shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。
2、融合方式
根據(jù)數(shù)據(jù)在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。
圖2：常見的融合方式
前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數(shù)據(jù)進(jìn)行整合。這種融合方式涉及直接在空間上對齊傳感器數(shù)據(jù)，形成一個統(tǒng)一的多模態(tài)數(shù)據(jù)集。可以進(jìn)行數(shù)據(jù)統(tǒng)一標(biāo)識，降低信息損失。
深度融合（Deep-Fusion）：是在特征提取之后、決策之前進(jìn)行的融合。這種融合方式涉及將不同傳感器的數(shù)據(jù)在特征空間中進(jìn)行組合，通常通過級聯(lián)或元素相乘的方式實(shí)現(xiàn)。通過特征互補(bǔ)可以提高魯棒性和提升泛化能力。
展開 一、摘要
近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計算機(jī)視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。
不同傳感器在進(jìn)行同一實(shí)驗(yàn)任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進(jìn)行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實(shí)現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實(shí)現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達(dá)、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。
大多數(shù)先進(jìn)的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進(jìn)行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進(jìn)行處理。LaserNet采用了這種融合策略，將三維的點(diǎn)云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進(jìn)行概率預(yù)測，實(shí)現(xiàn)端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大，對設(shè)備運(yùn)行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，并對特征圖進(jìn)行融合操作后輸入到目標(biāo)任務(wù)中進(jìn)行處理。通過ROI池化的方式將二維圖像和點(diǎn)云鳥瞰圖、前視圖特征整合到同一特征尺度進(jìn)行融合，并構(gòu)建兩個子網(wǎng)絡(luò)進(jìn)行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實(shí)現(xiàn)了自動駕駛場景下高精度的三維物體檢測。
展開 
數(shù)據(jù)融合的相關(guān)專題、標(biāo)簽、搜索
數(shù)據(jù)融合的最新內(nèi)容
6.x
全流程載體；App開發(fā)器封裝代理模型為交互式應(yīng)用
不確定性量化
GP/PCE代理模型、靈敏度分析、可靠性評估
COMSOL Uncertainty Quantification Module
小數(shù)據(jù)集代理模型+置信區(qū)間估計
外部數(shù)據(jù)融合
具體來說，激光雷達(dá)、相機(jī)、IMU各自維護(hù)獨(dú)立時鐘，數(shù)據(jù)融合需要統(tǒng)一的時間基準(zhǔn)。點(diǎn)云與圖像之間若存在100ms的時間偏差，車速30km/h時對應(yīng)83cm的空間誤差。在礦山這類復(fù)雜環(huán)境中，該偏差足以導(dǎo)致融合結(jié)果出現(xiàn)可觀測的空間錯位，影響檢測可靠性。
結(jié)合實(shí)際調(diào)研發(fā)現(xiàn)，目前時間同步方案的選擇存在兩種常見偏差：一是認(rèn)為固定偏置補(bǔ)償足以覆蓋所有工況，二是不加區(qū)分地追求高精度方案而忽視硬件約束。
針對這一痛點(diǎn)，天洑在本次培訓(xùn)中重點(diǎn)展示了基于智能數(shù)據(jù)建模軟件 DTEmpower 開發(fā)的最新功能——圖像模型和表單數(shù)據(jù)模型融合決策。
該工具能夠高效整合來自ERP、MES、PLC系統(tǒng)各類傳感器以及圖像數(shù)據(jù)，實(shí)現(xiàn)多源數(shù)據(jù)的快速清洗、轉(zhuǎn)換與融合。在提高產(chǎn)品良率的案例展示中，該工具展現(xiàn)了強(qiáng)大能力。
作為天洑自主研發(fā)的核心工業(yè)軟件，DTEmpower 在本次培訓(xùn)中表現(xiàn)亮眼。
直觀呈現(xiàn)大模型在環(huán)境感知、復(fù)雜推理上的突破；具身智能機(jī)器人展區(qū)則匯聚人形機(jī)器人、四足機(jī)器人、智能巡檢機(jī)器人等各類產(chǎn)品，既有像Galbot那樣可實(shí)現(xiàn)透明物體精準(zhǔn)抓取、24小時無人值守運(yùn)營的前沿機(jī)型，也有應(yīng)用于工業(yè)巡檢、醫(yī)療服務(wù)、公共服務(wù)等場景的成熟解決方案，現(xiàn)場演示機(jī)器人自主導(dǎo)航、協(xié)同作業(yè)、人機(jī)交互等核心能力，讓觀眾近距離感受“自主智能體”的科技魅力，其中基于具身大模型的多場景智能巡檢機(jī)器人，將展示其通過多模態(tài)數(shù)據(jù)融合
循環(huán)級緩存性能榨取</h3><ul><li>向量化加速：重構(gòu)循環(huán)結(jié)構(gòu)，利用Intel編譯器自動向量化技術(shù)將標(biāo)量運(yùn)算轉(zhuǎn)化為SIMD指令（如AVX512），單指令處理多數(shù)據(jù)；分塊與融合：通過循環(huán)分塊（Tiling）提升緩存命中率，融合獨(dú)立循環(huán)減少分支跳轉(zhuǎn)開銷；數(shù)據(jù)預(yù)取：優(yōu)化內(nèi)存訪問模式，引導(dǎo)編譯器自動插入預(yù)取指令，減少CPU等待延遲。</li></ul><p><br></p><h3>2.
為此，采用高維度物理場（如分辨率超過10億）的試驗(yàn)與觀測數(shù)據(jù)，結(jié)合大規(guī)模并行的數(shù)據(jù)同化手段，實(shí)現(xiàn)不同數(shù)據(jù)源的深度融合，成為提升模型可靠性的重要途徑。同時，通過符號回歸等白箱方法構(gòu)建湍流模型，不僅賦予模型良好的物理可解釋性，還顯著提升了對新工況的泛化能力，從而兼顧了工程實(shí)用性與理論嚴(yán)謹(jǐn)性。
重構(gòu)模型層面，通過融入掩模三維衍射、光致抗蝕劑非線性響應(yīng)等物理機(jī)理，構(gòu)建了“機(jī)理-數(shù)據(jù)”融合的非線性映射框架，將掩模-成像的擬合誤差控制在3%以內(nèi)，為OPC校正與SMO協(xié)同優(yōu)化提供了高精度理論支撐；
迭代公式方面，改進(jìn)型交替方向乘子法（ADMM）與稀疏正則化項(xiàng)的自適應(yīng)結(jié)合，解決了傳統(tǒng)迭代易發(fā)散的痛點(diǎn)，收斂效率提升50%以上，成功適配3nm節(jié)點(diǎn)掩模優(yōu)化的工程需求。
本文將從客戶的實(shí)際痛點(diǎn)出發(fā)，詳細(xì)拆解如何在復(fù)雜工況、多車型適配等需求下，實(shí)現(xiàn)高精度、多傳感器的數(shù)據(jù)融合與采集。
編輯
簡單來說，3D UNIV+RSES將人工智能、三維建模、仿真分析與現(xiàn)實(shí)場景數(shù)據(jù)深度融合，打造一體化智能平臺。我們不止提供AI技術(shù)賦能，更聚焦交付可落地的業(yè)務(wù)價值，助力客戶構(gòu)建長期且不可替代的核心競爭優(yōu)勢。
?
例如，某農(nóng)業(yè)科技公司開發(fā)的“AI種植決策系統(tǒng)”已在國內(nèi)30余個大型農(nóng)場部署，通過衛(wèi)星遙感與傳感器數(shù)據(jù)融合，實(shí)現(xiàn)肥水管理的精準(zhǔn)調(diào)控，平均提升產(chǎn)量15%。教育領(lǐng)域則涌現(xiàn)出一批個性化學(xué)習(xí)平臺，其基于認(rèn)知科學(xué)的自適應(yīng)算法能動態(tài)調(diào)整教學(xué)路徑，讓“因材施教”真正規(guī)模化。
智能硬件展區(qū)則聚焦AI與實(shí)體經(jīng)濟(jì)的深度融合。
