多模態傳感器融合的案例
自動駕駛多模態傳感器融合的綜述
多模態融合是感知自動駕駛系統的一項基本任務，最近引起了許多研究人員的興趣。然而，由于原始數據噪聲大、信息利用率低以及多模態傳感器的無對準，達到相當好的性能并非易事。
本文對現有的基于多模態自動駕駛感知任務方法進行了文獻綜述。
分析超過50篇論文，包括攝像頭和激光雷達，試圖解決目標檢測和語義分割任務。與傳統的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當前的融合方法，就潛在的研究機會展開討論。
最近，用于自動駕駛感知任務的多模態融合方法發展迅速，其從跨模態特征表示和更可靠的模態傳感器，到更復雜、更穩健的多模態融合深度學習模型和技術。然而，只有少數文獻綜述集中在多模態融合方法本身的方法論上，大多數文獻都遵循傳統規則，將其分為前融合、深度（特征）融合和后融合三大類，重點關注深度學習模型中融合特征的階段，無論是數據級、特征級還是提議級。首先，這種分類法沒有明確定義每個級別的特征表示。其次，它表明，激光雷達和攝像頭這兩個分支在處理過程中始終是對稱的，模糊了激光雷達分支中融合提議級特征和攝像頭分支中融合數據級特征的情況。綜上所述，傳統的分類法可能是直觀的，但對于總結最近出現的越來越多的多模態融合方法來說卻很落后，這使得研究人員無法從系統的角度對其進行研究和分析。
如圖是自動駕駛感知任務的示意圖：
深度學習模型僅限于輸入的表示。為了實現該模型，需要在數據輸入模型之前，通過一個復雜的特征提取器對原始數據進行預處理。
至于圖像分支，大多數現有方法保持與下游模塊輸入的原始數據相同的格式。然而，激光雷達分支高度依賴于數據格式，這種格式強調不同的特性，并對下游模型設計產生巨大影響。
展開 技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
全分布式系統只將對象數據或元數據（描述對象特征和/或識別對象的數據）發回到中央融合ECU。ECU將數據組合在一起，并最終決定如何執行或做出反應——請見圖4。
圖4：傳感器數據由傳感器模塊處理、決策由中央ECU制定的分布式系統。
全分布式系統既有優點又有缺點。
優點：
傳感器模塊——傳感器模塊與中央ECU之間可以使用更低帶寬、更加簡單且更加便宜的接口。在很多情況下，小于1Mb/s的CAN總線就足夠用了。
處理ECU——中央ECU只將對象數據融合在一起，因此其所需處理能力更低。對于某些系統來說，用一個高級的安全微控制器就足夠了。模塊更小，所需功耗也就更低。由于很多處理都是在傳感器內部完成的，傳感器數量增加不會大幅增加對中央ECU的性能需求。
缺點：
傳感器模塊——傳感器模塊需要有應用處理器，這樣的話就會變得體積更大、價格更高且功耗更大。由于本地處理和決策制定，傳感器模塊的功能安全要求也就更高。當然，增加更多的傳感器，成本也會大幅上升。
處理ECU——中央決策制定ECU只能獲取對象數據，而無法訪問實際的傳感器數據。因此，想要“放大”感興趣的區域很難實現。
尋找黃金分割
根據系統中所使用傳感器的數量與種類，以及針對不同車型和升級選項的可擴展性要求，將兩個拓撲混合在一起就可獲得一個優化解決方案。目前很多融合系統使用帶本地處理的傳感器用于雷達和激光雷達（LIDAR），使用前置攝像頭用于機器視覺。一個全分布式系統可以使用現有的傳感器模塊與對象數據融合ECU組合在一起。諸如環視和后視攝像頭的系統中的“傳統”傳感器模塊可以讓駕駛員看到周圍的環境情況——請見圖5。可以將更多的ADAS功能集成進駕駛員監測或攝像頭監控系統等融合系統中，但是傳感器融合的原理還是一樣。
圖5：尋找分布式和集中式處理的完美結合。
展開 多傳感器融合技術原理及融合技術分析
來源 | CSDN
概述
多傳感器融合（Multi-sensor Fusion, MSF）是利用計算機技術，將來自多傳感器或多源的信息和數據以一定的準則進行自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程。
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優化組合處理，最終產生對觀測環境的一致性解釋。在這個過程中要充分利用多源數據進行合理支配與使用，而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導出更多有用信息。這不僅是利用了多個傳感器相互協同操作的優勢，而且也綜合處理了其它信息源的數據來提高整個傳感器系統的智能化。
具體來講，多傳感器數據融合原理如下：
（1）多個不同類型傳感器（有源或無源）收集觀測目標的數據；
（2）對傳感器的輸出數據（離散或連續的時間函數數據、輸出矢量、成像數據或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數據的特征矢量Yi；
（3）對特征矢量Yi進行模式識別處理（如聚類算法、自適應神經網絡或其他能將特征矢量Yi變換成目標屬性判決的統計模式識別法等），完成各傳感器關于目標的說明；
（4）將各傳感器關于目標的說明數據按同一目標進行分組，即關聯；
（5）利用融合算法將目標的各傳感器數據進行合成，得到該目標的一致性解釋與描述。
以Autoware為例，在自動駕駛中，傳感器是汽車感知周圍的環境的硬件基礎，在實現自動駕駛的各個階段都必不可少。自動駕駛離不開感知層、控制層和執行層的相互配合。
展開 多傳感器融合定位是否足夠安全？
我們沒有選擇使用優化器，因為BA-MSF實現以二進制形式發布，因此我們無法直接獲得其分析公式。對于我們分析中的給定傳感器數據跡線，存在多個可能的攻擊窗口，即前一個GPS數據和后一個GPS數據的間隙。對于每個攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關單源KF安全性的研究工作中使用的一種方法。根據我們的威脅模型，我們將對GPS欺騙數據的測量不確定性設置為BA-MSF中傳感器數據跡線的中值。
我們對兩種類型的傳感器數據跡線進行上述分析：（1）真實數據，以及（2）擬合的無噪聲數據。前者是通過在真實世界中駕駛AV時直接記錄MSF的輸入而獲得的，此類跡線的分析結果具有最高的真實性。但是我們可以執行的操作是有限的，由于不同傳感器數據之間存在相關性，我們無法輕易地修改傳感器數據；并且由于傳感器存在噪聲，分析可能不準確。因此，我們利用后者進行補充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實GPS信號定位都設置為真實位置，其測量不確定度設置為實際數據的中值，并根據駕駛軌跡擬合出IMU測量值。
實驗環境
我們使用官方Apollo AD系統中的BA-MSF實現代碼。
展開 
自動駕駛多傳感器數據融合方法
一、摘要
近年來，深度學習技術在涉及高維非結構化數據領域展現出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復雜的多模態信息問題。
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
展開 多傳感器融合，叩開自動駕駛大門
想要真正意義上實現自動駕駛，在產業鏈的積極配合下還有很多問題需要去攻克。目前來看，在硬件方面還沒有完全達到自動駕駛要求，仍需要不斷完善，正如多傳感器的相互融合。
康謀技術 | 多傳感器數據融合技術與策略解析
② 傳感器標定：確立坐標轉換
傳感器標定是確保每個傳感器的數據都能準確映射到世界坐標系中的過程。它包括內參標定和外參標定兩個部分。
內參標定：針對單個傳感器，解決其內部參數，如攝像頭的焦距和畸變，確保傳感器數據在自身坐標系中的準確性。詳細內容可見往期內容：
《深入探討：自動駕駛中的相機標定技術》
https://www.yqgqt.org.cn/post/1938216
外參標定：在已知的世界坐標系下，解決不同傳感器之間的相對位置和方向，確保它們數據的一致性。
外參標定的準確性依賴于內參標定的精確性，只有每個傳感器的內參被精確校準，我們才能準確地知道它們在世界坐標系中的相對位置。
二、多傳感器融合方法
在多傳感器采集系統中做好統一時鐘和統一坐標系后，就可以將這些數據進行融合了。關于具體做法，這里舉一個簡單的例子：
1、相機與LiDAR融合
在實現激光雷達與相機標定、運動補償和時間同步后，通過多傳感器深度融合，執行幾何變換將三維點云數據投影至二維圖像平面，實現物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數據，形成深度標簽圖像，從而為自動駕駛車輛的環境感知系統提供更為豐富和精確的數據支持。
2、融合方式
根據數據在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。
圖2：常見的融合方式
前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數據進行整合。這種融合方式涉及直接在空間上對齊傳感器數據，形成一個統一的多模態數據集。可以進行數據統一標識，降低信息損失。
深度融合（Deep-Fusion）：是在特征提取之后、決策之前進行的融合。
展開 交通管控中多傳感器融合技術的優勢
德國Jenoptik集團推出多傳感器融合技術來避免混淆監測。
Jenoptik集團目前正在聚焦于ITS部門的多傳感器融合技術應用的優勢。當考慮利用傳感器系統來改善交通擁堵和道路安全問題時，如果是涉及到警務安全，考慮只采用雷達系統或激光掃描儀來實現。但現在管理者需要的是檢測和監控車輛的解決方案，并同時實現執法功能，而目前并沒有哪一種傳感器技術能夠全部滿足這些條件，因此最優的解決方案是使用傳感器和其他組件的組合優勢來達到結果。
但大家必須清楚，多傳感器融合并不是電影《1984》的現實版本，它不會以“老大哥”無所不在的方式監視著公眾。相反，該技術以多種方式來協助道路使用者，高速公路運營商和交警以及公眾，為所有人提供更安全，更高效的旅程。
交叉路口的三維運動物體識別
多傳感器數據融合
多傳感器融合需要模塊化的多傳感器和基于基礎設施的物體檢測系統組合，并通過先進的傳感器技術（立體攝像機，車牌識別攝像機，雷達和激光等）檢測所有關于交通狀況和道路使用者的信息，并實現實時流量數據的收集。在這里，傳感器的測量范圍和速度的準確性，檢測率，穩定性，都會受到環境條件（照明，雨雪和溫度）的影響。
Jenoptik集團目前已經推出用于檢測往來車輛車型，車牌識別，車軸數等數據的模塊化的多傳感器融合系統。該系統的部署必須預先知道哪些組件安裝在什么地方可以實現復雜交通狀況的監控預期效果。路邊組件會將采集到的數據發送到后臺處理系統進行評估。另外，智能車牌識別軟件還可實現車輛信息與運營商數據的融合。
左：攝像機覆蓋區域。右：雷達覆蓋區域
路邊數據通常來源于車牌識別攝像機，包括車牌和車輛類型的圖像等，這些數據通過加密后部分或完全傳輸到中央數據服務器。但這些數據在不進行分析的情況下，只能算原始信息，價值并不大。
展開 康謀應用 | 基于多傳感器融合的海洋數據采集系統
然而，海洋數據采集也面臨數據噪聲和誤差、數據融合與協同和復雜海洋環境適應等諸多挑戰，制約著無人艇技術的發展。
針對這些挑戰，我們探索并推出一套基于多傳感器融合的海洋數據采集系統，能夠高效地采集和處理海洋環境中的多維度數據，為無人艇的自主航行和控制算法訓練提供高質量的數據支持。
一、方案架構
無人艇要在復雜海上環境中實現自主導航，尤其是完成障礙物檢測和跟蹤任務，其關鍵在于對海面環境的高效感知。因此，通過集成多種傳感器，包括相機、激光雷達、IMU（慣性測量單元）和GPS（全球定位系統），能夠采集更全面、更精確的海洋環境數據。但這種系統也會進一步涉及時間同步、數據傳輸與存儲以及環境適應性等問題。
基于以上考慮，采用BRICKplus(工控機)+ETH6000+傳感器套件(6*iDS相機+1*LiDAR+1*IMU+1*GPS)方案架構，如下圖所示：
基于BRICKplus+ETH6000構建的數采平臺，提供12個以太網接口（10*1Gb+2*10Gb）可以有效接入各個傳感器，并為后續升級技術架構、接入更多傳感器預留更多空間。多傳感器產生的數據量巨大，對數據傳輸和存儲提出了高要求，特別是8MP相機6個同時采集。
采用BRICKplus提供大容量（8/16/32TB）高速寫入（16Gbit/s）存儲硬盤，能夠高效穩定落盤傳感器數據。采用GPS模塊，支持（g）PTP時間同步與定位。
二、系統搭建
為了更好的感知無人艇周邊環境信息，對傳感器分布和方式進行了設計和調整，布局如下圖所示。該布局可以更有效的應對海面復雜環境下的數據采集。
三、數據采集
在面向無人艇數據采集時，需要使傳感器套件（四類傳感器）能夠同時采集數據，并具備時間同步，實時可視化、存儲和回放等能力。
展開 蔚來公布自動駕駛進展：放棄純視覺路線，做多傳感器融合
隨著 ADAS 逐步優化，自動駕駛 Team——現在 360 多人，很多精力都會放在 L4 平臺的開放上。蔚來會跳過 L3 直接到 L4。
至于現在的第一代車，也就是 ES8 ，以目前傳感器和運算能力，做不到L4，我們也不會宣布可以做到 L3。
李斌說，蔚來下一代的自動駕駛平臺，會用到更多的傳感器，激光雷達、紅外，滿足不同場景下的需求。從今天角度來看，不用更多傳感器，是做不到L4。有些公司，宣稱攝像頭可以。以產業共識來看，是有誤導的。（我覺得說的就是特斯拉）
其實不光是傳感器與芯片，還需要考慮冗余與備份。一個轉向器壞了，剎車壞了怎么板？蔚來需要完整設計這個體系。
與特斯拉基于攝像頭的感知是不同，蔚來依靠多傳感器融合，選擇跳過 L3 選擇直接 L4，提高自動駕駛的研發進程。
總結
蔚來以前的目標是做”中國的特斯拉”，然而特斯拉卻偏偏進入了中國，蔚來跟自己的模仿對象競爭，技術功能上至少落后2年，而且價格也并不占任何優勢。用戶花了很高的價錢，買了一臺裝滿傳感器的ES8智能車，然而該平臺可能最終無法升級到想要的L4功能，蔚來汽車自動駕駛的未來并不明朗。
展開 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
由于CPM與相機圖像的格式相同，因此可以通過使CPM作為附加通道來自然地融合它們。
然而，由于投影后激光雷達的分辨率較低，CPM中許多像素的特征被破壞了。BEV 映射提供了從上方看場景的高視圖。檢測和定位任務使用它有兩個原因。首先，與安裝在擋風玻璃后面的攝像頭不同，大多數激光雷達位于車輛頂部，遮擋較少。
其次，所有對象都放置在BEV中的地平面上，模型可以生成預測而不會出現長度和寬度的失真。
融合方法
本節將回顧激光雷達相機數據的不同融合方法。從傳統分類學的角度來看，所有的多模態數據融合方法都可以很方便地分為三種范式，包括數據級融合（early-fusion）、特征級融合（deep-fusion）和對象級融合（late-fusion）。
數據級融合或早期融合方法通過空間對齊直接融合不同模態的原始傳感器數據。特征級融合或深度融合方法關注于特征空間中混合跨模態數據。對象級融合方法結合模型在每個模態中的預測結果并做出最終決策。
數據級融合
原始數據通過空間對齊和投影直接融合每種模態數據的方法的一個例子是圖4中的模型。將圖像分支中的語義特征和原始激光雷達點云融合在一起，從而在目標檢測任務中獲得更好的性能。
3D激光雷達點云轉換為 2D 圖像，并利用成熟的 CNN 技術融合圖像分支中的特征級表示以實現更好的性能。
特征級融合
特征級別融合使用特征提取器分別獲取激光雷達點云和相機圖像的嵌入表示，并通過一系列下游模塊融合兩種模態的特征。
深度融合有時會以級聯方式融合特征這兩者都利用了原始和高級語義信息。深度融合的一個例子可以是圖5中的模型。
展開 
2021年全國激光測振與多傳感融合技術應用研討會云會議通知
為更好的提升我國振動傳感檢測技術，促進高等學校、研究院所和企業密切合作，推進激光測振與多傳感融合技術在機器人、智能檢測、電機電力、交通監測和超聲等領域的應用，中國振動工程學會振動利用工程專業委員會、浙江省振動工程學會和寧波大學壓電器件技術實驗室將聯合主辦“2021年全國激光測振與多傳感融合技術應用研討會”。
傳感器融合-數據篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產品），也可以是數據層（這里的討論范圍），還可以是任務層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數據融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環境的抗干擾能力也強，同時圖像作為被動視覺系統的主要傳感器，深度估計精度差，更麻煩的是穩定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數據和致密的圖像深度數據結合，形成互補？
展開 自動駕駛傳感器融合：激光雷達+攝像頭
前言
自動駕駛感知技術所采用的傳感器主要包括攝像頭，激光雷達和毫米波雷達。這些傳感器各有優缺點，也互為補充，因此如何高效的融合多傳感器數據，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務中融合激光雷達和攝像頭，重點是目前主流的基于深度學習的融合算法。
攝像頭產生的數據是2D圖像，對于物體的形狀和類別的感知精度較高。深度學習技術的成功起源于計算機視覺任務，很多成功的算法也是基于對圖像數據的處理，因此目前基于圖像的感知技術已經相對成熟。圖像數據的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統可以解決深度信息獲取的問題，但是計算量很大。激光雷達在一定程度上彌補了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規要求難以滿足，因此在量產方面比較困難。同時，激光雷達生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠距離物體或者小物體來說，反射點的數量會非常少。
如下圖所示，圖像數據和點云存在著巨大的差別。首先是視角不同，圖像數據是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標系中的三維信息，可以投影到多種視圖。其次是數據結構不同，圖像數據是規則的，有序的，稠密的，而點云數據是不規則的，無序的，稀疏的。在空間分辨率方面，圖像數據也比點云數據高很多。
圖片來源于參考文獻[1]
自動駕駛感知系統中有兩個典型的任務：物體檢測和語義分割。深度學習技術的興起首先來自視覺領域，基于圖像數據的物體檢測和語義分割已經被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開 自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
由于CPM與相機圖像的格式相同，因此可以通過使CPM作為附加通道來自然地融合它們。
然而，由于投影后激光雷達的分辨率較低，CPM中許多像素的特征被破壞了。BEV 映射提供了從上方看場景的高視圖。檢測和定位任務使用它有兩個原因。首先，與安裝在擋風玻璃后面的攝像頭不同，大多數激光雷達位于車輛頂部，遮擋較少。
其次，所有對象都放置在BEV中的地平面上，模型可以生成預測而不會出現長度和寬度的失真。
融合方法
本節將回顧激光雷達相機數據的不同融合方法。從傳統分類學的角度來看，所有的多模態數據融合方法都可以很方便地分為三種范式，包括數據級融合（early-fusion）、特征級融合（deep-fusion）和對象級融合（late-fusion）。
數據級融合或早期融合方法通過空間對齊直接融合不同模態的原始傳感器數據。特征級融合或深度融合方法關注于特征空間中混合跨模態數據。對象級融合方法結合模型在每個模態中的預測結果并做出最終決策。
數據級融合
原始數據通過空間對齊和投影直接融合每種模態數據的方法的一個例子是圖4中的模型。將圖像分支中的語義特征和原始激光雷達點云融合在一起，從而在目標檢測任務中獲得更好的性能。
3D激光雷達點云轉換為 2D 圖像，并利用成熟的 CNN 技術融合圖像分支中的特征級表示以實現更好的性能。
特征級融合
特征級別融合使用特征提取器分別獲取激光雷達點云和相機圖像的嵌入表示，并通過一系列下游模塊融合兩種模態的特征。
深度融合有時會以級聯方式融合特征這兩者都利用了原始和高級語義信息。深度融合的一個例子可以是圖5中的模型。
對象級融合
后期融合，也稱為對象級融合，表示在每種模態中融合不同結果的方法。
展開 