數(shù)據(jù)融合的案例
技術(shù)探秘 | 自動駕駛汽車傳感器融合系統(tǒng)，及多傳感器數(shù)據(jù)融合算法淺析
傳感器融合將會是邁向自動駕駛及享受旅途時光和駕駛樂趣的關(guān)鍵一步。
多傳感器信息融合算法
智能汽車的顯著特點在于智能，意思就是說汽車自己能通過車載傳感系統(tǒng)感知道路環(huán)境，自動規(guī)劃行車路線并控制車輛到達預(yù)定目標。目前而言，車載感知模塊包括視覺感知模塊、毫米波雷達、超聲波雷達、360°環(huán)視系統(tǒng)等，多源傳感器的協(xié)同作用識別道路車道線、行人車輛等障礙物，為安全駕駛保駕護航。因此，感知信息也需要融合，感知信息也需要相互補充。
這里引出一個重要的概念：多傳感器信息融合（information fusion）。各種不同的傳感器，對應(yīng)不同的工況環(huán)境和感知目標。比方說，毫米波雷達主要識別前向中遠距離障礙物（0.5米-150米），如路面車輛、行人、路障等。超聲波雷達主要識別車身近距離障礙物（0.2米-5米），如泊車過程中的路沿、靜止的前后車輛、過往的行人等信息。兩者協(xié)同作用，互補不足，通過測量障礙物角度、距離、速度等數(shù)據(jù)融合，刻畫車身周邊環(huán)境和可達空間范圍。
圖6：智能汽車感知模塊
信息融合起初叫做數(shù)據(jù)融合（data fusion），起源于1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng)，在20世紀90年代，隨著信息技術(shù)的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來，多傳感器數(shù)據(jù)融合MSDF (Multi-sensor Data Fusion）技術(shù)也應(yīng)運而生。
數(shù)據(jù)融合主要優(yōu)勢在于：充分利用不同時間與空間的多傳感器數(shù)據(jù)資源，采用計算機技術(shù)按時間序列獲得多傳感器的觀測數(shù)據(jù)，在一定準則下進行分析、綜合、支配和使用。獲得對被測對象的一致性解釋與描述，進而實現(xiàn)相應(yīng)的決策和估計，使系統(tǒng)獲得比它各組成部分更為充分的信息。
一般地，多源傳感器數(shù)據(jù)融合處理過程包括六個步驟，如下圖所示。
展開 毫米波雷達和「圖像數(shù)據(jù)」的融合｜技術(shù)解讀篇
這些傳感器各有優(yōu)缺點，也互為補充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一。
毫米波雷達感知算法的研究起步較晚，公開的數(shù)據(jù)庫也不多，因此，目前多傳感器融合的研究主要集中在融合相機（圖像）和激光雷達（點云）的數(shù)據(jù)。
隨著毫米波雷達在自動駕駛車輛中越來越多的應(yīng)用，它的數(shù)據(jù)如何與圖像進行融合，也成為了一個亟需解決的問題。
毫米波雷達的數(shù)據(jù)一般以 Point Cloud（點云）的形式呈現(xiàn)。理論上說這與激光雷達的點云類似，只是每個點包含的數(shù)據(jù)不同：激光雷達的點包括 X、Y、Z 坐標和反射信號強度；而毫米波雷達的點包括 X、Y（也可能有 Z）坐標，RCS（物體反射面積）和 Doppler（物體速度）。
因此，很多激光雷達和圖像的融合方法也可以用來融合毫米波雷達。
但相對于激光雷達，毫米波雷達的點云非常稀疏（幾十 vs 幾千），所以在算法上還需要一些特殊的設(shè)計。
目前來看，大多數(shù)融合算法采用點云數(shù)據(jù)作為輸入，但是也有部分工作采用更底層的雷達數(shù)據(jù)，比如 Range-Doppler-Azimuth （RAD）Tensor。RAD 數(shù)據(jù)包含更多的信息，需要的運算量也更大，但是對于深度學(xué)習(xí)來說，RAD 是更適合的數(shù)據(jù)。
下面會分別介紹基于這兩種數(shù)據(jù)的融合方法，并對其中存在的問題和未來的發(fā)展方向進行分析。
展開 毫米波雷達和「圖像數(shù)據(jù)」的融合｜技術(shù)解讀篇
這些傳感器各有優(yōu)缺點，也互為補充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一。
毫米波雷達感知算法的研究起步較晚，公開的數(shù)據(jù)庫也不多，因此，目前多傳感器融合的研究主要集中在融合相機（圖像）和激光雷達（點云）的數(shù)據(jù)。
隨著毫米波雷達在自動駕駛車輛中越來越多的應(yīng)用，它的數(shù)據(jù)如何與圖像進行融合，也成為了一個亟需解決的問題。
毫米波雷達的數(shù)據(jù)一般以 Point Cloud（點云）的形式呈現(xiàn)。理論上說這與激光雷達的點云類似，只是每個點包含的數(shù)據(jù)不同：激光雷達的點包括 X、Y、Z 坐標和反射信號強度；而毫米波雷達的點包括 X、Y（也可能有 Z）坐標，RCS（物體反射面積）和 Doppler（物體速度）。
因此，很多激光雷達和圖像的融合方法也可以用來融合毫米波雷達。
但相對于激光雷達，毫米波雷達的點云非常稀疏（幾十 vs 幾千），所以在算法上還需要一些特殊的設(shè)計。
目前來看，大多數(shù)融合算法采用點云數(shù)據(jù)作為輸入，但是也有部分工作采用更底層的雷達數(shù)據(jù)，比如 Range-Doppler-Azimuth （RAD）Tensor。RAD 數(shù)據(jù)包含更多的信息，需要的運算量也更大，但是對于深度學(xué)習(xí)來說，RAD 是更適合的數(shù)據(jù)。
下面會分別介紹基于這兩種數(shù)據(jù)的融合方法，并對其中存在的問題和未來的發(fā)展方向進行分析。
展開 康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析
詳細內(nèi)容可見往期內(nèi)容：
《深入探討：自動駕駛中的相機標定技術(shù)》
https://www.yqgqt.org.cn/post/1938216
外參標定：在已知的世界坐標系下，解決不同傳感器之間的相對位置和方向，確保它們數(shù)據(jù)的一致性。
外參標定的準確性依賴于內(nèi)參標定的精確性，只有每個傳感器的內(nèi)參被精確校準，我們才能準確地知道它們在世界坐標系中的相對位置。
二、多傳感器融合方法
在多傳感器采集系統(tǒng)中做好統(tǒng)一時鐘和統(tǒng)一坐標系后，就可以將這些數(shù)據(jù)進行融合了。關(guān)于具體做法，這里舉一個簡單的例子：
1、相機與LiDAR融合
在實現(xiàn)激光雷達與相機標定、運動補償和時間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點云數(shù)據(jù)投影至二維圖像平面，實現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數(shù)據(jù)，形成深度標簽圖像，從而為自動駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。
2、融合方式
根據(jù)數(shù)據(jù)在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。
圖2：常見的融合方式
前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數(shù)據(jù)進行整合。這種融合方式涉及直接在空間上對齊傳感器數(shù)據(jù)，形成一個統(tǒng)一的多模態(tài)數(shù)據(jù)集。可以進行數(shù)據(jù)統(tǒng)一標識，降低信息損失。
深度融合（Deep-Fusion）：是在特征提取之后、決策之前進行的融合。這種融合方式涉及將不同傳感器的數(shù)據(jù)在特征空間中進行組合，通常通過級聯(lián)或元素相乘的方式實現(xiàn)。通過特征互補可以提高魯棒性和提升泛化能力。
展開 
自動駕駛多傳感器數(shù)據(jù)融合方法
一、摘要
近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。
不同傳感器在進行同一實驗任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。
大多數(shù)先進的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進行概率預(yù)測，實現(xiàn)端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大，對設(shè)備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態(tài)的數(shù)據(jù)進行特征提取，并對特征圖進行融合操作后輸入到目標任務(wù)中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構(gòu)建兩個子網(wǎng)絡(luò)進行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實現(xiàn)了自動駕駛場景下高精度的三維物體檢測。
展開 康謀應(yīng)用 | 基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)
在海洋監(jiān)測領(lǐng)域，基于無人艇能夠?qū)崿F(xiàn)高效、實時、自動化的海洋數(shù)據(jù)采集，從而為海洋環(huán)境保護、資源開發(fā)等提供有力支持。其中，無人艇的控制算法訓(xùn)練往往需要大量高質(zhì)量的數(shù)據(jù)支持。然而，海洋數(shù)據(jù)采集也面臨數(shù)據(jù)噪聲和誤差、數(shù)據(jù)融合與協(xié)同和復(fù)雜海洋環(huán)境適應(yīng)等諸多挑戰(zhàn)，制約著無人艇技術(shù)的發(fā)展。
針對這些挑戰(zhàn)，我們探索并推出一套基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)，能夠高效地采集和處理海洋環(huán)境中的多維度數(shù)據(jù)，為無人艇的自主航行和控制算法訓(xùn)練提供高質(zhì)量的數(shù)據(jù)支持。
一、方案架構(gòu)
無人艇要在復(fù)雜海上環(huán)境中實現(xiàn)自主導(dǎo)航，尤其是完成障礙物檢測和跟蹤任務(wù)，其關(guān)鍵在于對海面環(huán)境的高效感知。因此，通過集成多種傳感器，包括相機、激光雷達、IMU（慣性測量單元）和GPS（全球定位系統(tǒng)），能夠采集更全面、更精確的海洋環(huán)境數(shù)據(jù)。但這種系統(tǒng)也會進一步涉及時間同步、數(shù)據(jù)傳輸與存儲以及環(huán)境適應(yīng)性等問題。
基于以上考慮，采用BRICKplus(工控機)+ETH6000+傳感器套件(6*iDS相機+1*LiDAR+1*IMU+1*GPS)方案架構(gòu)，如下圖所示：
基于BRICKplus+ETH6000構(gòu)建的數(shù)采平臺，提供12個以太網(wǎng)接口（10*1Gb+2*10Gb）可以有效接入各個傳感器，并為后續(xù)升級技術(shù)架構(gòu)、接入更多傳感器預(yù)留更多空間。多傳感器產(chǎn)生的數(shù)據(jù)量巨大，對數(shù)據(jù)傳輸和存儲提出了高要求，特別是8MP相機6個同時采集。
采用BRICKplus提供大容量（8/16/32TB）高速寫入（16Gbit/s）存儲硬盤，能夠高效穩(wěn)定落盤傳感器數(shù)據(jù)。采用GPS模塊，支持（g）PTP時間同步與定位。
二、系統(tǒng)搭建
為了更好的感知無人艇周邊環(huán)境信息，對傳感器分布和方式進行了設(shè)計和調(diào)整，布局如下圖所示。
展開 傳感器融合-數(shù)據(jù)篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經(jīng)成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務(wù)層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數(shù)據(jù)融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結(jié)合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環(huán)境的抗干擾能力也強，同時圖像作為被動視覺系統(tǒng)的主要傳感器，深度估計精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結(jié)合，形成互補？
展開 方案分享 | ADAS時空融合數(shù)據(jù)采集方案
從感知到?jīng)Q策，從規(guī)劃到控制，每一個環(huán)節(jié)都離不開海量、精準的高質(zhì)量數(shù)據(jù)支撐。然而，隨著傳感器數(shù)量的增加和數(shù)據(jù)規(guī)模的指數(shù)級增長，行業(yè)正面臨一系列挑戰(zhàn)：多源傳感器數(shù)據(jù)的時間同步難題、復(fù)雜數(shù)據(jù)格式的適配、測量技術(shù)的靈活性不足、設(shè)備集成周期冗長等，這些問題正成為自動駕駛研發(fā)與測試的“隱形瓶頸”。
基于技術(shù)積累與行業(yè)洞察，本文分享一套創(chuàng)新的ADAS時空融合數(shù)據(jù)采集方案。通過硬件與軟件的深度協(xié)同優(yōu)化，能夠很好地解決數(shù)據(jù)采集中的核心痛點，還為自動駕駛研發(fā)提供了高效、可靠、可擴展的完整解決方案。
一、方案架構(gòu)
該方案以“時空融合”為核心，構(gòu)建了傳感器層、數(shù)據(jù)處理層、存儲層和用戶交互層，如下圖1所示：
圖1：方案架構(gòu)
傳感器層：負責(zé)采集數(shù)據(jù)，包括 LiDAR、Radar、RTK 和 Camera 等傳感器。這些傳感器從不同維度感知環(huán)境，獲得圖像、點云、高精度定位以及被測目標物等信息，為系統(tǒng)提供原始數(shù)據(jù)。
數(shù)據(jù)處理層：對傳感器采集的原始數(shù)據(jù)進行處理。通過時間同步算法（PTP/gPTP），使不同傳感器數(shù)據(jù)在時間上對齊，解決多源傳感器數(shù)據(jù)時間同步難題。運用標定算法，對各傳感器進行單傳感器標定和傳感器間標定，確定傳感器之間的空間關(guān)系。同時，解析不同格式的數(shù)據(jù)，使其能在系統(tǒng)中統(tǒng)一處理。
存儲層：負責(zé)存儲處理后的數(shù)據(jù)。支持多種存儲格式，如激光雷達數(shù)據(jù)可存為 pcd 格式或 rosbag 包，毫米波雷達和 RTK 數(shù)據(jù)可選擇 csv 格式或 rosbag 包，方便不同場景下的數(shù)據(jù)使用和分析。并且按照傳感器類型將數(shù)據(jù)分類存入單獨文件夾，便于管理和查找。
用戶交互層（軟件界面）：為用戶提供操作入口。軟件支持各個傳感器數(shù)據(jù)的可視化，方便用戶實時查看傳感器采集的信息。
展開 物聯(lián)網(wǎng)主機E6000：工業(yè)領(lǐng)域的數(shù)據(jù)融合與5G未來
二、多協(xié)議、多接口的物聯(lián)網(wǎng)主機
E6000是一款多協(xié)議、多接口的物聯(lián)網(wǎng)主機，它能夠支持融合類數(shù)據(jù)的采集處理，包括視頻、設(shè)備、DCS系統(tǒng)等數(shù)據(jù)。這意味著，無論是工廠的生產(chǎn)數(shù)據(jù)，還是設(shè)備的運行狀態(tài)，都可以通過E6000進行實時監(jiān)控和分析。
物聯(lián)網(wǎng)主機E6000
三、數(shù)據(jù)告警與數(shù)據(jù)聯(lián)動
在工業(yè)生產(chǎn)中，數(shù)據(jù)的實時性和準確性至關(guān)重要。E6000不僅能夠?qū)崟r采集數(shù)據(jù)，還能夠根據(jù)預(yù)設(shè)的規(guī)則進行數(shù)據(jù)告警。一旦發(fā)現(xiàn)異常情況，E6000會立即發(fā)出警報，幫助工程師及時發(fā)現(xiàn)并解決問題。同時，E6000還支持數(shù)據(jù)聯(lián)動，可以將不同的數(shù)據(jù)進行關(guān)聯(lián)分析，從而提供更深入的洞察。
四、讓信息隨時隨地
E6000還支持數(shù)據(jù)推送功能，可以將實時的數(shù)據(jù)信息推送到工程師的移動設(shè)備上。無論工程師身處何處，都能夠隨時獲取到最新的生產(chǎn)數(shù)據(jù)，實現(xiàn)真正的移動辦公。
五、引領(lǐng)未來的通信技術(shù)
隨著5G技術(shù)的逐漸成熟，E6000也提供了5G選配服務(wù)。5G的高速度和低延遲，使得E6000在處理大量數(shù)據(jù)時更加迅速和準確。同時，5G的廣泛覆蓋，也使得E6000的應(yīng)用范圍更加廣泛。
六、E6000在工業(yè)領(lǐng)域的應(yīng)用
在工業(yè)領(lǐng)域，E6000的應(yīng)用已經(jīng)非常廣泛。無論是在生產(chǎn)線上，還是在設(shè)備維護中，E6000都能夠提供強大的支持。通過E6000，企業(yè)可以實現(xiàn)生產(chǎn)過程的自動化和智能化，提高生產(chǎn)效率，降低生產(chǎn)成本。
七、結(jié)語
物聯(lián)網(wǎng)主機E6000，以其強大的功能和靈活的應(yīng)用，正在為工業(yè)領(lǐng)域帶來革命性的變化。在未來，我們期待E6000能夠在更多的領(lǐng)域發(fā)揮其價值，推動物聯(lián)網(wǎng)技術(shù)的發(fā)展，為我們的生活帶來更多的便利和可能。
展開 工業(yè)大數(shù)據(jù)的價值，體現(xiàn)物聯(lián)網(wǎng)與服互聯(lián)網(wǎng)融合
互聯(lián)互通，這是模具與成型企業(yè)在邁向Ｔ零量產(chǎn)數(shù)據(jù)傳遞的神經(jīng)網(wǎng)路，「信息孤島」是必須去攻克的第一道課題，如圖1、圖2。
圖2：PLM-ERP-WMS-MES-AMS 五大系統(tǒng)互聯(lián)互通矩陣圖
工業(yè)4.0的概念創(chuàng)造了諸多的新創(chuàng)意與新技術(shù)，許多如前所述的技術(shù)或系統(tǒng)元素是過去積累的成果，持續(xù)深化。而智慧工廠與工業(yè)4.0核心在哪里？不是在技術(shù)，而是將過去的成果與元素「整合與融合」的思維。大數(shù)據(jù)是工業(yè)4.0時代的重要特征。這是為什么在各國工業(yè)4.0的規(guī)劃中都提到大數(shù)據(jù)的重要性，而大數(shù)據(jù)應(yīng)用在工業(yè)行業(yè)興起是由下列主觀因素所決定的：
1.產(chǎn)品開發(fā)的多樣性、制造流程的精細化發(fā)展與商業(yè)運營條件的多元變化，變得越來越復(fù)雜，依靠傳統(tǒng)方法、經(jīng)驗及分析已經(jīng)無法滿足快速反應(yīng)與同步協(xié)作的需求。
2.電腦輔助設(shè)計與制造系統(tǒng)(CAD/CAM)的普及，加上通訊技術(shù)、傳感器技術(shù)的發(fā)展，獲取即時資訊的成本大幅降低。
3.工業(yè)物聯(lián)網(wǎng)所需之半導(dǎo)體、處理器、嵌入式系統(tǒng)及云端運算等技術(shù)，高速發(fā)展，大大提升實體設(shè)備與虛擬模擬的運算能力，提供即時處理大數(shù)據(jù)的充分條件。
4.有了上述因素，設(shè)備在半自動與全自動的作業(yè)過程中，其作業(yè)行為與控制器產(chǎn)生大量有價值的資訊。而這些資訊必須充分挖掘與利用的技術(shù)與思維，在企業(yè)領(lǐng)導(dǎo)及管理階層已經(jīng)具備了。
這些正是我們在現(xiàn)今環(huán)境可以獲取之工業(yè)大數(shù)據(jù)的來源，大數(shù)據(jù)環(huán)境又如何形成、建構(gòu)與利用呢？工業(yè)4.0基礎(chǔ)特征在于互聯(lián)互通的高度融合，包括了系統(tǒng)與系統(tǒng)、系統(tǒng)與人、系統(tǒng)與設(shè)備、人與設(shè)備、供應(yīng)鏈等萬物互聯(lián)；高度融合包含了系統(tǒng)在縱向、橫向的二維交流。
展開 數(shù)據(jù)驅(qū)動設(shè)計（DDD）模塊：RecurDyn與AI的深度融合，重新定義仿真未來
通過AI與物理仿真的深度融合，工程師得以：
· 突破網(wǎng)格限制：在超大規(guī)模系統(tǒng)中實現(xiàn)“細節(jié)精度”與“全局效率”的兼得。
· 解鎖實時仿真：為數(shù)字孿生、實時仿真提供技術(shù)底座。
· 賦能創(chuàng)新設(shè)計：以更低成本探索傳統(tǒng)方法無法觸及的設(shè)計空間。
未來已來，讓RecurDyn+AI成為您征服復(fù)雜系統(tǒng)的“終極武器”！
作者：華成婷
自動駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數(shù)據(jù)的過程。該步驟在機器人技術(shù)中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
如果兩個傳感器都檢測到了行人，傳感器融合技術(shù)將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應(yīng)該什么時候進行融合？”
文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業(yè)界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數(shù)據(jù)
低級別傳感器融合是關(guān)于融合來自多個傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達的點云數(shù)據(jù)和來自攝像頭的像素級數(shù)據(jù)。
展開 煤礦生產(chǎn)的智能化
建設(shè)智能礦山
，就是要在煤炭生產(chǎn)過程中做到萬物互聯(lián)、全面感知、數(shù)據(jù)融合以及智能決策。
萬物互聯(lián)
，基于物聯(lián)網(wǎng)技術(shù)，連接礦上所有工人、設(shè)備、環(huán)境的位置、狀態(tài)等數(shù)據(jù)，實現(xiàn)任何時間、任何地點，人、機、物的互聯(lián)互通；
全面感知
，通過物聯(lián)網(wǎng)技術(shù)對礦上所有人、機、物數(shù)據(jù)信息的實時關(guān)聯(lián)，實現(xiàn)對礦上人、機、物的快速分析與全面感知；
數(shù)據(jù)融合
，通過物聯(lián)網(wǎng)技術(shù)對礦上所有人、機、物數(shù)據(jù)的大量采集，從時間、地點、狀態(tài)等多方面實現(xiàn)所有數(shù)據(jù)的融合分析；
智能決策
，基于物聯(lián)網(wǎng)技術(shù)，建立所屬礦山的資料庫，實現(xiàn)煤礦生產(chǎn)過程中自我管理與決策。
煤礦專用工業(yè)網(wǎng)關(guān)推薦
邊緣智能網(wǎng)關(guān) P1600
龍興物聯(lián)
邊緣智能網(wǎng)關(guān)P1600是一種多協(xié)議、多接口的綜合網(wǎng)關(guān)，具有綜合數(shù)據(jù)（含視頻）采集、數(shù)據(jù)處理、數(shù)據(jù)告警、數(shù)據(jù)聯(lián)動、數(shù)據(jù)推送為一體的綜合協(xié)議處理網(wǎng)關(guān)。
展開 自動駕駛多模態(tài)傳感器融合的綜述
因此，這里將其總結(jié)為基于點、基于體素和基于二維映射的點云數(shù)據(jù)格式，以適應(yīng)異構(gòu)深度學(xué)習(xí)模型。
數(shù)據(jù)級融合或前融合方法，通過空間對齊直接融合不同模式的原始傳感器數(shù)據(jù)。特征級融合或深度融合方法通過級聯(lián)或元素相乘在特征空間中混合跨模態(tài)數(shù)據(jù)。目標級融合方法將各模態(tài)模型的預(yù)測結(jié)果結(jié)合起來，做出最終決策。
一種新的分類法，將所有融合方法分為強融合和弱融合，如圖展示了二者之間的關(guān)系：
為性能比較，KITTI benchmark的3D檢測和鳥瞰目標檢測。如下兩個表分別給出BEV和3D的KITTI測試數(shù)據(jù)集上多模態(tài)融合方法的實驗結(jié)果。
根據(jù)激光雷達和攝像頭數(shù)據(jù)表示的不同組合階段，將強融合再分為前融合、深度融合、后融合和非對稱融合四類。作為研究最多的融合方法，強融合近年來取得了許多杰出的成就。
如圖所示：強融合的每個小類都高度依賴于激光雷達點云，而不是攝像頭數(shù)據(jù)。
前融合。數(shù)據(jù)級融合是一種通過原始數(shù)據(jù)級的空間對齊和投影直接融合每個模態(tài)數(shù)據(jù)的方法，與之不同的是，前融合在數(shù)據(jù)級是融合激光雷達數(shù)據(jù)，在數(shù)據(jù)級或特征級則融合攝像頭數(shù)據(jù)。一個例子如圖所示：
在激光雷達分支，點云可以是有反射圖、體素化張量、前視圖/距離視圖/鳥瞰視圖以及偽點云等形式。盡管所有這些數(shù)據(jù)都具有不同的內(nèi)在特征，與激光雷達主干網(wǎng)高相關(guān)，但除了偽點云之外，大多數(shù)據(jù)通過基于規(guī)則的處理生成。此外，與特征空間嵌入相比，該階段的數(shù)據(jù)仍然具有可解釋性，因此所有這些激光雷達數(shù)據(jù)表示都直觀可視。
展開 知語云：低慢小無人機管制反制監(jiān)測 探測偵測方式方法？
3）圖像與雷達的信息融合。這兩者的融合模式，是雷達進行大范圍地掃描搜索，發(fā)現(xiàn)目標后，運用了相機對目標成像。這樣是可以在獲得探測距離的同時，不失探測精度。其中的關(guān)鍵技術(shù)是雷達的目標探測與識別及其與相機之間快速、穩(wěn)定的響應(yīng)關(guān)系。
4）圖像與聲音融合。聲陣列中對無人機的探測在五百米范圍內(nèi)有良好效果。作為在一種輔助探測手段，聲探測的融入是能夠大大提高近距探測的響應(yīng)速度和精度。
圖5融合探測模型
多傳感器信息融合是多層次的（圖5），可以分為數(shù)據(jù)級融合、特征級融合和策略級融合。數(shù)據(jù)級融合主要解決是直接從多個傳感器獲得的數(shù)據(jù)之間在空間上的配準和時間上的同步問題、網(wǎng)絡(luò)通信協(xié)議等。特征級的融合是指多個傳感器探測所得的目標信息（如坐標、速度等）之間的融合，主要處理特征級的互證和沖突問題。策略級的融合是處理各探測器在與決策直接相關(guān)的信息方面的互證與沖突。多傳感器數(shù)據(jù)融合的主要基礎(chǔ)方法有基于貝葉斯推理的方法、基于加權(quán)平均的方法、基于Dempster-Shafer(DS)證據(jù)理論的方法。隨著在人工智能的進一步發(fā)展中，也逐漸形成了基于聚類分析的數(shù)據(jù)融合方法、基于模糊邏輯的數(shù)據(jù)融合方法、基于博弈論的數(shù)據(jù)融合方法以及基于神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的數(shù)據(jù)融合方法等。
5.3跟蹤探測
傳統(tǒng)的“探測—識別—跟蹤”流程，要是建立在于目標可被感知的信號強烈，探測到難度低于識別難度，識別的難度低于跟蹤難度的基礎(chǔ)之上的。考慮到了“低慢小”無人機自身以及所處環(huán)境的特殊性，“多目標跟蹤—識別—篩選”成為破解“低慢小”無人機探測難點的一種新思路。就在這一思路之下，探測到網(wǎng)絡(luò)所接受到的信息也可以盡可能地擴大，并可以融合其它先驗信息（如地圖、天氣、網(wǎng)絡(luò)狀況等），對于是捕捉到的目標信息進行無條件地跟蹤，通過在跟蹤所得的數(shù)據(jù)積累，進行了目標中篩選。可行的方案有
1）基于運動模型識別的跟蹤探測。
展開 