來源 | CSDN

概述

多傳感器融合（Multi-sensor Fusion, MSF）是利用計算機技術(shù)，將來自多傳感器或多源的信息和數(shù)據(jù)以一定的準則進行自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程。

多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優(yōu)化組合處理，最終產(chǎn)生對觀測環(huán)境的一致性解釋。在這個過程中要充分利用多源數(shù)據(jù)進行合理支配與使用，而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個傳感器相互協(xié)同操作的優(yōu)勢，而且也綜合處理了其它信息源的數(shù)據(jù)來提高整個傳感器系統(tǒng)的智能化。

具體來講，多傳感器數(shù)據(jù)融合原理如下：

（1）多個不同類型傳感器（有源或無源）收集觀測目標的數(shù)據(jù)；

（2）對傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數(shù)據(jù)的特征矢量Yi；

（3）對特征矢量Yi進行模式識別處理（如聚類算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標屬性判決的統(tǒng)計模式識別法等），完成各傳感器關(guān)于目標的說明；

（4）將各傳感器關(guān)于目標的說明數(shù)據(jù)按同一目標進行分組，即關(guān)聯(lián)；

（5）利用融合算法將目標的各傳感器數(shù)據(jù)進行合成，得到該目標的一致性解釋與描述。

以Autoware為例，在自動駕駛中，傳感器是汽車感知周圍的環(huán)境的硬件基礎(chǔ)，在實現(xiàn)自動駕駛的各個階段都必不可少。自動駕駛離不開感知層、控制層和執(zhí)行層的相互配合。攝像頭、雷達等傳感器獲取圖像、距離、速度等信息，扮演眼睛、耳朵的角色。控制模塊分析處理信息，并進行判斷、下達指令，扮演大腦的角色。車身各部件負責執(zhí)行指令，扮演手腳的角色。而環(huán)境感知是這一切的基礎(chǔ)， 因此傳感器對于自動駕駛不可或缺。

必要性

為什么一定要多傳感器融合呢？主要是揚長避短、冗余設(shè)計，提高整車安全系數(shù)。多傳感器融合系統(tǒng)所實現(xiàn)的功能要遠超這些獨立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現(xiàn)象（例如對攝像頭或雷達的電子干擾或人為干擾）導(dǎo)致。各傳感器優(yōu)缺點如下：

Camera： 對目標的顏色和紋理比較敏感，可以完成目標分類、檢測、分割、識別等任務(wù)，但是不能得到精確的探測距離，而且易受光照、天氣條件的影響。

LiDAR：可以獲得目標精確的3D信息，檢測范圍也能夠到達150米。對光照不敏感，晚上也可以正常工作。但是角分辨率大，目標稀疏，無法獲得目標紋理，分類不準，而且在雨、霧、雪等惡劣天氣中，性能會下降。對揚塵、水霧也比較敏感，易產(chǎn)生噪點。

Radar： 可以提供精確的距離和速度信息，探測距離也比較遠，可以全天候工作，但分辨率較低，無法提供物體高度信息。

先決條件

眾多的傳感器裝在同一輛車上，如nuscenes中使用了6個camera、1個lidar、5個radar，使用同一個系統(tǒng)來采集并處理數(shù)據(jù)，為了將他們規(guī)范，我們需要對這些傳感器統(tǒng)一坐標系和時鐘，目的就是為了實現(xiàn)三同一不同：同一個目標在同一個時刻出現(xiàn)在不同類別的傳感器的同一個世界坐標處。

統(tǒng)一時鐘

在這里要做的就是同步不同傳感器的時間戳：

GPS時間戳的時間同步方法: 這個需要看傳感的硬件是否支持該種方法，如果支持則傳感器給出的數(shù)據(jù)包會有全局的時間戳，這些時間戳以GPS為基準，這樣就使用了相同的時鐘，而非各自傳感器的時鐘了。但是還有一個問題，不同傳感器的數(shù)據(jù)頻率是不同的，如lidar為10Hz，camera為25/30Hz，那不同傳感器之間的數(shù)據(jù)還是存在延遲，如下圖所示。雖然可以通過找相鄰時間戳的方法找到最近幀，但是如果兩個時間戳差距較大，障礙物又在移動，最終會導(dǎo)致較大的同步誤差。

硬同步方法：這種方法可以緩解查找時間戳造成的誤差現(xiàn)象。該方法可以以激光雷達作為觸發(fā)其它傳感器的源頭，當激光雷達轉(zhuǎn)到某個角度時，才觸發(fā)該角度的攝像頭，這可以大大減少時間差的問題。這套時間同步方案可以做到硬件中，這樣可以大大降低同步誤差，提高數(shù)據(jù)對齊效果。

統(tǒng)一坐標系

統(tǒng)一坐標系有兩步，一是運動補償，二是傳感器標定。

Lidar運動畸變的產(chǎn)生：對于一臺機械式旋轉(zhuǎn)激光雷達來講，（a）為Lidar在靜止條件下，一圈（一幀）點云數(shù)據(jù)服從一個坐標系下；而由于Lidar本身獲取信息的物理特性，即依靠自身旋轉(zhuǎn)激光部件來得到激光點陣列，所以Lidar一般工作頻率為10HZ，在每個周期100ms內(nèi)，由于Lidar本身的運動，一幀內(nèi)的點云并不服從于同一個Lidar坐標系下，如（b）所示。

運動補償主要針對長周期的傳感器，如lidar，周期為100ms。由于所有的傳感器都裝在車上，車是運動的剛體。因此傳感器在采集數(shù)據(jù)時，周期開始的時間點和結(jié)束時間點車輛是處于不同位置的，導(dǎo)致不同時刻采集的數(shù)據(jù)所處坐標系不同，因此需要根據(jù)車體的運動對傳感器采集的數(shù)據(jù)進行運動補償。如下圖所示：虛線部分可以認為是世界坐標系，紅色點代表一個靜態(tài)的障礙物，在坐標系中有一個穩(wěn)定的坐標（5，5）。藍色部分代表自動駕駛車自己的局部坐標系，也就是說世界坐標系的（4，0）為局部坐標系的原點。在T+1時刻，這個局部坐標系移動到了（6，0）的位置，也就是自動駕駛車沿著X方向向前移動了2。也就是說，在T時刻，障礙物的在局部坐標系下的坐標是（1，5），而在T+1時刻，它的坐標變?yōu)榱耍?1，5）。這個問題解決起來比較簡單，因為自動駕駛車擁有比較準確的實時定位信息，它可提供T和T+1兩個時刻內(nèi)，車本身的姿態(tài)差距，利用姿態(tài)差，我們就可以比較容易補償自身移動了多少。

傳感器標定分為內(nèi)參標定和外參標定，內(nèi)參標定，解決的是單獨的每個傳感器與世界坐標系間的變換；外參標定是在世界坐標系下，解決的不同傳感器間的變換。傳感器外參校準依賴于傳感器的精確內(nèi)參校準。

傳感器融合，一般可以分為四種：

Early fusion — Fusing the raw data ，一般稱為前融合（或數(shù)據(jù)融合），匯總所有傳感器的數(shù)據(jù)，得到一個super-sensor，再進行檢測；

Late fusion — Fusing the results， 一般稱為后融合（或結(jié)果融合/信息融合），每個傳感器獨立檢測處理，得到檢測結(jié)果，再匯總；

Mid-level fusion ， 一般稱為中級融合/中層融合，各傳感器提供一個中等表示（比如特征），再匯總；

Sequential fusion ， 一般稱為順序融合，將多傳感器級聯(lián)，前一個為后一個提供信息，幫助下一個傳感器檢測更準確，缺點是容易造成誤差的累積；

 

前融合為數(shù)據(jù)層的融合，可以作為其他三種融合方式的基礎(chǔ)，目的是將多個傳感器數(shù)據(jù)源統(tǒng)一到同一度量時空，即時空一致性，時間一致性是為了讓兩個傳感器捕獲信息的瞬時時間戳要盡可能地接近，空間一致性是為了將傳感器坐標系統(tǒng)一到同一個坐標系。

硬件同步、硬同步：使用同一種硬件同時發(fā)布觸發(fā)采集命令，實現(xiàn)各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。

軟件同步：時間同步、空間同步。

時間同步、時間戳同步、軟同步：通過統(tǒng)一的主機給各個傳感器提供基準時間，各傳感器根據(jù)已經(jīng)校準后的各自時間為各自獨立采集的數(shù)據(jù)加上時間戳信息，可以做到所有傳感器時間戳同步，但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。

空間同步：將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中，其中激光傳感器在高速移動的情況下需要考慮當前速度下的幀內(nèi)位移校準。