多傳感器數(shù)據(jù)融合的案例
自動(dòng)駕駛多傳感器數(shù)據(jù)融合方法
一、摘要
近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計(jì)算機(jī)視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。
不同傳感器在進(jìn)行同一實(shí)驗(yàn)任務(wù)時(shí)，針對(duì)產(chǎn)生的同一現(xiàn)象進(jìn)行觀測(cè)，采集的數(shù)據(jù)構(gòu)成被測(cè)對(duì)象的多模態(tài)信息。多模態(tài)信息可以實(shí)現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實(shí)現(xiàn)比單一模態(tài)更好的性能。
在自動(dòng)駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個(gè)傳感器，包括雷達(dá)、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動(dòng)巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測(cè)繪、場(chǎng)景識(shí)別、路徑規(guī)劃和駕駛員狀態(tài)識(shí)別等。
大多數(shù)先進(jìn)的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進(jìn)行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進(jìn)行處理。LaserNet采用了這種融合策略，將三維的點(diǎn)云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進(jìn)行概率預(yù)測(cè)，實(shí)現(xiàn)端到端的三維物體檢測(cè)。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對(duì)于來自不同傳感器的模態(tài)信息來說，這種融合方式計(jì)算量大，對(duì)設(shè)備運(yùn)行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對(duì)來自不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，并對(duì)特征圖進(jìn)行融合操作后輸入到目標(biāo)任務(wù)中進(jìn)行處理。通過ROI池化的方式將二維圖像和點(diǎn)云鳥瞰圖、前視圖特征整合到同一特征尺度進(jìn)行融合，并構(gòu)建兩個(gè)子網(wǎng)絡(luò)進(jìn)行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實(shí)現(xiàn)了自動(dòng)駕駛場(chǎng)景下高精度的三維物體檢測(cè)。
展開 康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析
② 傳感器標(biāo)定：確立坐標(biāo)轉(zhuǎn)換
傳感器標(biāo)定是確保每個(gè)傳感器的數(shù)據(jù)都能準(zhǔn)確映射到世界坐標(biāo)系中的過程。它包括內(nèi)參標(biāo)定和外參標(biāo)定兩個(gè)部分。
內(nèi)參標(biāo)定：針對(duì)單個(gè)傳感器，解決其內(nèi)部參數(shù)，如攝像頭的焦距和畸變，確保傳感器數(shù)據(jù)在自身坐標(biāo)系中的準(zhǔn)確性。詳細(xì)內(nèi)容可見往期內(nèi)容：
《深入探討：自動(dòng)駕駛中的相機(jī)標(biāo)定技術(shù)》
https://www.yqgqt.org.cn/post/1938216
外參標(biāo)定：在已知的世界坐標(biāo)系下，解決不同傳感器之間的相對(duì)位置和方向，確保它們數(shù)據(jù)的一致性。
外參標(biāo)定的準(zhǔn)確性依賴于內(nèi)參標(biāo)定的精確性，只有每個(gè)傳感器的內(nèi)參被精確校準(zhǔn)，我們才能準(zhǔn)確地知道它們?cè)谑澜缱鴺?biāo)系中的相對(duì)位置。
二、多傳感器融合方法
在多傳感器采集系統(tǒng)中做好統(tǒng)一時(shí)鐘和統(tǒng)一坐標(biāo)系后，就可以將這些數(shù)據(jù)進(jìn)行融合了。關(guān)于具體做法，這里舉一個(gè)簡單的例子：
1、相機(jī)與LiDAR融合
在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動(dòng)補(bǔ)償和時(shí)間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素數(shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動(dòng)駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。
2、融合方式
根據(jù)數(shù)據(jù)在整個(gè)流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。
圖2：常見的融合方式
前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數(shù)據(jù)進(jìn)行整合。這種融合方式涉及直接在空間上對(duì)齊傳感器數(shù)據(jù)，形成一個(gè)統(tǒng)一的多模態(tài)數(shù)據(jù)集。可以進(jìn)行數(shù)據(jù)統(tǒng)一標(biāo)識(shí)，降低信息損失。
深度融合（Deep-Fusion）：是在特征提取之后、決策之前進(jìn)行的融合。
展開 技術(shù)探秘 | 自動(dòng)駕駛汽車傳感器融合系統(tǒng)，及多傳感器數(shù)據(jù)融合算法淺析
全分布式系統(tǒng)只將對(duì)象數(shù)據(jù)或元數(shù)據(jù)（描述對(duì)象特征和/或識(shí)別對(duì)象的數(shù)據(jù)）發(fā)回到中央融合ECU。ECU將數(shù)據(jù)組合在一起，并最終決定如何執(zhí)行或做出反應(yīng)——請(qǐng)見圖4。
圖4：傳感器數(shù)據(jù)由傳感器模塊處理、決策由中央ECU制定的分布式系統(tǒng)。
全分布式系統(tǒng)既有優(yōu)點(diǎn)又有缺點(diǎn)。
優(yōu)點(diǎn)：
傳感器模塊——傳感器模塊與中央ECU之間可以使用更低帶寬、更加簡單且更加便宜的接口。在很多情況下，小于1Mb/s的CAN總線就足夠用了。
處理ECU——中央ECU只將對(duì)象數(shù)據(jù)融合在一起，因此其所需處理能力更低。對(duì)于某些系統(tǒng)來說，用一個(gè)高級(jí)的安全微控制器就足夠了。模塊更小，所需功耗也就更低。由于很多處理都是在傳感器內(nèi)部完成的，傳感器數(shù)量增加不會(huì)大幅增加對(duì)中央ECU的性能需求。
缺點(diǎn)：
傳感器模塊——傳感器模塊需要有應(yīng)用處理器，這樣的話就會(huì)變得體積更大、價(jià)格更高且功耗更大。由于本地處理和決策制定，傳感器模塊的功能安全要求也就更高。當(dāng)然，增加更多的傳感器，成本也會(huì)大幅上升。
處理ECU——中央決策制定ECU只能獲取對(duì)象數(shù)據(jù)，而無法訪問實(shí)際的傳感器數(shù)據(jù)。因此，想要“放大”感興趣的區(qū)域很難實(shí)現(xiàn)。
尋找黃金分割
根據(jù)系統(tǒng)中所使用傳感器的數(shù)量與種類，以及針對(duì)不同車型和升級(jí)選項(xiàng)的可擴(kuò)展性要求，將兩個(gè)拓?fù)浠旌显谝黄鹁涂色@得一個(gè)優(yōu)化解決方案。目前很多融合系統(tǒng)使用帶本地處理的傳感器用于雷達(dá)和激光雷達(dá)（LIDAR），使用前置攝像頭用于機(jī)器視覺。一個(gè)全分布式系統(tǒng)可以使用現(xiàn)有的傳感器模塊與對(duì)象數(shù)據(jù)融合ECU組合在一起。諸如環(huán)視和后視攝像頭的系統(tǒng)中的“傳統(tǒng)”傳感器模塊可以讓駕駛員看到周圍的環(huán)境情況——請(qǐng)見圖5。可以將更多的ADAS功能集成進(jìn)駕駛員監(jiān)測(cè)或攝像頭監(jiān)控系統(tǒng)等融合系統(tǒng)中，但是傳感器融合的原理還是一樣。
圖5：尋找分布式和集中式處理的完美結(jié)合。
展開 多傳感器融合技術(shù)原理及融合技術(shù)分析
來源 | CSDN
概述
多傳感器融合（Multi-sensor Fusion, MSF）是利用計(jì)算機(jī)技術(shù)，將來自多傳感器或多源的信息和數(shù)據(jù)以一定的準(zhǔn)則進(jìn)行自動(dòng)分析和綜合，以完成所需的決策和估計(jì)而進(jìn)行的信息處理過程。
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進(jìn)行多層次、多空間的信息互補(bǔ)和優(yōu)化組合處理，最終產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋。在這個(gè)過程中要充分利用多源數(shù)據(jù)進(jìn)行合理支配與使用，而信息融合的最終目標(biāo)則是基于各傳感器獲得的分離觀測(cè)信息，通過對(duì)信息多級(jí)別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個(gè)傳感器相互協(xié)同操作的優(yōu)勢(shì)，而且也綜合處理了其它信息源的數(shù)據(jù)來提高整個(gè)傳感器系統(tǒng)的智能化。
具體來講，多傳感器數(shù)據(jù)融合原理如下：
（1）多個(gè)不同類型傳感器（有源或無源）收集觀測(cè)目標(biāo)的數(shù)據(jù)；
（2）對(duì)傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時(shí)間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個(gè)直接的屬性說明）進(jìn)行特征提取的變換，提取代表觀測(cè)數(shù)據(jù)的特征矢量Yi；
（3）對(duì)特征矢量Yi進(jìn)行模式識(shí)別處理（如聚類算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標(biāo)屬性判決的統(tǒng)計(jì)模式識(shí)別法等），完成各傳感器關(guān)于目標(biāo)的說明；
（4）將各傳感器關(guān)于目標(biāo)的說明數(shù)據(jù)按同一目標(biāo)進(jìn)行分組，即關(guān)聯(lián)；
（5）利用融合算法將目標(biāo)的各傳感器數(shù)據(jù)進(jìn)行合成，得到該目標(biāo)的一致性解釋與描述。
以Autoware為例，在自動(dòng)駕駛中，傳感器是汽車感知周圍的環(huán)境的硬件基礎(chǔ)，在實(shí)現(xiàn)自動(dòng)駕駛的各個(gè)階段都必不可少。自動(dòng)駕駛離不開感知層、控制層和執(zhí)行層的相互配合。
展開 
交通管控中多傳感器融合技術(shù)的優(yōu)勢(shì)
德國Jenoptik集團(tuán)推出多傳感器融合技術(shù)來避免混淆監(jiān)測(cè)。
Jenoptik集團(tuán)目前正在聚焦于ITS部門的多傳感器融合技術(shù)應(yīng)用的優(yōu)勢(shì)。當(dāng)考慮利用傳感器系統(tǒng)來改善交通擁堵和道路安全問題時(shí)，如果是涉及到警務(wù)安全，考慮只采用雷達(dá)系統(tǒng)或激光掃描儀來實(shí)現(xiàn)。但現(xiàn)在管理者需要的是檢測(cè)和監(jiān)控車輛的解決方案，并同時(shí)實(shí)現(xiàn)執(zhí)法功能，而目前并沒有哪一種傳感器技術(shù)能夠全部滿足這些條件，因此最優(yōu)的解決方案是使用傳感器和其他組件的組合優(yōu)勢(shì)來達(dá)到結(jié)果。
但大家必須清楚，多傳感器融合并不是電影《1984》的現(xiàn)實(shí)版本，它不會(huì)以“老大哥”無所不在的方式監(jiān)視著公眾。相反，該技術(shù)以多種方式來協(xié)助道路使用者，高速公路運(yùn)營商和交警以及公眾，為所有人提供更安全，更高效的旅程。
交叉路口的三維運(yùn)動(dòng)物體識(shí)別
多傳感器數(shù)據(jù)融合
多傳感器融合需要模塊化的多傳感器和基于基礎(chǔ)設(shè)施的物體檢測(cè)系統(tǒng)組合，并通過先進(jìn)的傳感器技術(shù)（立體攝像機(jī)，車牌識(shí)別攝像機(jī)，雷達(dá)和激光等）檢測(cè)所有關(guān)于交通狀況和道路使用者的信息，并實(shí)現(xiàn)實(shí)時(shí)流量數(shù)據(jù)的收集。在這里，傳感器的測(cè)量范圍和速度的準(zhǔn)確性，檢測(cè)率，穩(wěn)定性，都會(huì)受到環(huán)境條件（照明，雨雪和溫度）的影響。
Jenoptik集團(tuán)目前已經(jīng)推出用于檢測(cè)往來車輛車型，車牌識(shí)別，車軸數(shù)等數(shù)據(jù)的模塊化的多傳感器融合系統(tǒng)。該系統(tǒng)的部署必須預(yù)先知道哪些組件安裝在什么地方可以實(shí)現(xiàn)復(fù)雜交通狀況的監(jiān)控預(yù)期效果。路邊組件會(huì)將采集到的數(shù)據(jù)發(fā)送到后臺(tái)處理系統(tǒng)進(jìn)行評(píng)估。另外，智能車牌識(shí)別軟件還可實(shí)現(xiàn)車輛信息與運(yùn)營商數(shù)據(jù)的融合。
左：攝像機(jī)覆蓋區(qū)域。右：雷達(dá)覆蓋區(qū)域
路邊數(shù)據(jù)通常來源于車牌識(shí)別攝像機(jī)，包括車牌和車輛類型的圖像等，這些數(shù)據(jù)通過加密后部分或完全傳輸?shù)街醒?em>數(shù)據(jù)服務(wù)器。但這些數(shù)據(jù)在不進(jìn)行分析的情況下，只能算原始信息，價(jià)值并不大。
展開 賦能商用車 ADAS 研發(fā)：多傳感器數(shù)據(jù)采集方案
近期，在和眾多商用車ADAS研發(fā)客戶的溝通過程中，我們觀察到了一些被頻繁提到的客戶需求和場(chǎng)景痛點(diǎn)，針對(duì)于此，本文為該類客戶量身定制了一套高性能商用車ADAS多傳感器數(shù)據(jù)采集方案。
本文將從客戶的實(shí)際痛點(diǎn)出發(fā)，詳細(xì)拆解如何在復(fù)雜工況、多車型適配等需求下，實(shí)現(xiàn)高精度、多傳感器的數(shù)據(jù)融合與采集。
一、客戶需求與場(chǎng)景痛點(diǎn)
不同于乘用車，商用車受自身車體特性、運(yùn)營場(chǎng)景與研發(fā)需求，其 ADAS 數(shù)據(jù)采集絕非乘用車方案的簡單放大，而是需要從底層設(shè)計(jì)就需要貼合專屬需求的定制化工程，核心痛點(diǎn)集中在四個(gè)方面：
（1）車體與配置感知難題：車體大、盲區(qū)多，需強(qiáng)化近場(chǎng)及 360° 環(huán)視感知，采集系統(tǒng)需支持配置與標(biāo)定快速切換；
（2）多車型適配靈活需求：涵蓋多種品類且車身結(jié)構(gòu)差異大，要求采集的支架和傳感器，實(shí)現(xiàn)多車型快速適配，且改裝后復(fù)標(biāo)高效，降低研發(fā)成本；
（3）多傳感器融合高精度門檻：BEV / 端到端模型對(duì)數(shù)據(jù)時(shí)空對(duì)齊、空間融合精度要求嚴(yán)苛；
（4）復(fù)雜工況高可靠性要求：運(yùn)行場(chǎng)景與環(huán)境復(fù)雜多變，采集系統(tǒng)需滿足商用車級(jí)的環(huán)境適應(yīng)性，具備防震、防水、寬溫域運(yùn)行能力，同時(shí)長時(shí)間連續(xù)采集，保障低丟幀、無宕機(jī)。
二、解決方案概覽
針對(duì)這些核心痛點(diǎn)，我們以場(chǎng)景化適配、高精度融合、高可靠性運(yùn)行、定制化設(shè)計(jì)為核心設(shè)計(jì)理念，在傳感器配置、硬件架構(gòu)、標(biāo)定流程與采集軟件四個(gè)層級(jí)進(jìn)行重構(gòu)，以此實(shí)現(xiàn)對(duì)商用車 ADAS 數(shù)據(jù)采集全需求的精準(zhǔn)覆蓋。
1、傳感器配置與硬件架構(gòu)
良好的傳感器配置，高協(xié)同的硬件架構(gòu)是數(shù)據(jù)采集精度和穩(wěn)定性的基礎(chǔ)。根據(jù)商用車感知需求，采用分層感知 + 角模塊化的傳感器配置思路，搭配工控機(jī) + 板卡 + 高精度時(shí)間同步模塊的定制化硬件架構(gòu)，實(shí)現(xiàn)多傳感器 360° 全維度感知、微秒級(jí)時(shí)間同步與高帶寬數(shù)據(jù)存儲(chǔ)。
展開 康謀應(yīng)用 | 基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)
在海洋監(jiān)測(cè)領(lǐng)域，基于無人艇能夠?qū)崿F(xiàn)高效、實(shí)時(shí)、自動(dòng)化的海洋數(shù)據(jù)采集，從而為海洋環(huán)境保護(hù)、資源開發(fā)等提供有力支持。其中，無人艇的控制算法訓(xùn)練往往需要大量高質(zhì)量的數(shù)據(jù)支持。然而，海洋數(shù)據(jù)采集也面臨數(shù)據(jù)噪聲和誤差、數(shù)據(jù)融合與協(xié)同和復(fù)雜海洋環(huán)境適應(yīng)等諸多挑戰(zhàn)，制約著無人艇技術(shù)的發(fā)展。
針對(duì)這些挑戰(zhàn)，我們探索并推出一套基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)，能夠高效地采集和處理海洋環(huán)境中的多維度數(shù)據(jù)，為無人艇的自主航行和控制算法訓(xùn)練提供高質(zhì)量的數(shù)據(jù)支持。
一、方案架構(gòu)
無人艇要在復(fù)雜海上環(huán)境中實(shí)現(xiàn)自主導(dǎo)航，尤其是完成障礙物檢測(cè)和跟蹤任務(wù)，其關(guān)鍵在于對(duì)海面環(huán)境的高效感知。因此，通過集成多種傳感器，包括相機(jī)、激光雷達(dá)、IMU（慣性測(cè)量單元）和GPS（全球定位系統(tǒng)），能夠采集更全面、更精確的海洋環(huán)境數(shù)據(jù)。但這種系統(tǒng)也會(huì)進(jìn)一步涉及時(shí)間同步、數(shù)據(jù)傳輸與存儲(chǔ)以及環(huán)境適應(yīng)性等問題。
基于以上考慮，采用BRICKplus(工控機(jī))+ETH6000+傳感器套件(6*iDS相機(jī)+1*LiDAR+1*IMU+1*GPS)方案架構(gòu)，如下圖所示：
基于BRICKplus+ETH6000構(gòu)建的數(shù)采平臺(tái)，提供12個(gè)以太網(wǎng)接口（10*1Gb+2*10Gb）可以有效接入各個(gè)傳感器，并為后續(xù)升級(jí)技術(shù)架構(gòu)、接入更多傳感器預(yù)留更多空間。多傳感器產(chǎn)生的數(shù)據(jù)量巨大，對(duì)數(shù)據(jù)傳輸和存儲(chǔ)提出了高要求，特別是8MP相機(jī)6個(gè)同時(shí)采集。
采用BRICKplus提供大容量（8/16/32TB）高速寫入（16Gbit/s）存儲(chǔ)硬盤，能夠高效穩(wěn)定落盤傳感器數(shù)據(jù)。采用GPS模塊，支持（g）PTP時(shí)間同步與定位。
二、系統(tǒng)搭建
為了更好的感知無人艇周邊環(huán)境信息，對(duì)傳感器分布和方式進(jìn)行了設(shè)計(jì)和調(diào)整，布局如下圖所示。
展開 多傳感器融合定位是否足夠安全？
我們沒有選擇使用優(yōu)化器，因?yàn)锽A-MSF實(shí)現(xiàn)以二進(jìn)制形式發(fā)布，因此我們無法直接獲得其分析公式。對(duì)于我們分析中的給定傳感器數(shù)據(jù)跡線，存在多個(gè)可能的攻擊窗口，即前一個(gè)GPS數(shù)據(jù)和后一個(gè)GPS數(shù)據(jù)的間隙。對(duì)于每個(gè)攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關(guān)單源KF安全性的研究工作中使用的一種方法。根據(jù)我們的威脅模型，我們將對(duì)GPS欺騙數(shù)據(jù)的測(cè)量不確定性設(shè)置為BA-MSF中傳感器數(shù)據(jù)跡線的中值。
我們對(duì)兩種類型的傳感器數(shù)據(jù)跡線進(jìn)行上述分析：（1）真實(shí)數(shù)據(jù)，以及（2）擬合的無噪聲數(shù)據(jù)。前者是通過在真實(shí)世界中駕駛AV時(shí)直接記錄MSF的輸入而獲得的，此類跡線的分析結(jié)果具有最高的真實(shí)性。但是我們可以執(zhí)行的操作是有限的，由于不同傳感器數(shù)據(jù)之間存在相關(guān)性，我們無法輕易地修改傳感器數(shù)據(jù)；并且由于傳感器存在噪聲，分析可能不準(zhǔn)確。因此，我們利用后者進(jìn)行補(bǔ)充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實(shí)GPS信號(hào)定位都設(shè)置為真實(shí)位置，其測(cè)量不確定度設(shè)置為實(shí)際數(shù)據(jù)的中值，并根據(jù)駕駛軌跡擬合出IMU測(cè)量值。
實(shí)驗(yàn)環(huán)境
我們使用官方Apollo AD系統(tǒng)中的BA-MSF實(shí)現(xiàn)代碼。
展開 傳感器融合-數(shù)據(jù)篇（自動(dòng)駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動(dòng)駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務(wù)層像障礙物檢測(cè)（obstacle detection），車道線檢測(cè)（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達(dá)和毫米波雷達(dá)之間，因?yàn)楹撩撞ɡ走_(dá)的目標(biāo)分辨率很低（無法確定目標(biāo)大小和輪廓），但可以在高層上探索融合，比如目標(biāo)速度估計(jì)，跟蹤的軌跡等等。
這里主要介紹一下激光雷達(dá)和攝像頭的數(shù)據(jù)融合，實(shí)際是激光雷達(dá)點(diǎn)云投影在攝像頭圖像平面形成的深度和圖像估計(jì)的深度進(jìn)行結(jié)合，理論上可以將圖像估計(jì)的深度反投到3-D空間形成點(diǎn)云和激光雷達(dá)的點(diǎn)云融合，但很少人用。原因是，深度圖的誤差在3-D空間會(huì)放大，另外是3-D空間的點(diǎn)云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達(dá)到2K-4K）；另一邊兒激光雷達(dá)成本高，分辨率低，深度探測(cè)距離短。可是，激光雷達(dá)點(diǎn)云測(cè)距精確度非常高，測(cè)距遠(yuǎn)遠(yuǎn)大于那些Infrared/TOF depth sensor，對(duì)室外環(huán)境的抗干擾能力也強(qiáng)，同時(shí)圖像作為被動(dòng)視覺系統(tǒng)的主要傳感器，深度估計(jì)精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達(dá)的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結(jié)合，形成互補(bǔ)？
展開 自動(dòng)駕駛多模態(tài)傳感器融合的綜述
多模態(tài)融合是感知自動(dòng)駕駛系統(tǒng)的一項(xiàng)基本任務(wù)，最近引起了許多研究人員的興趣。然而，由于原始數(shù)據(jù)噪聲大、信息利用率低以及多模態(tài)傳感器的無對(duì)準(zhǔn)，達(dá)到相當(dāng)好的性能并非易事。
本文對(duì)現(xiàn)有的基于多模態(tài)自動(dòng)駕駛感知任務(wù)方法進(jìn)行了文獻(xiàn)綜述。
分析超過50篇論文，包括攝像頭和激光雷達(dá)，試圖解決目標(biāo)檢測(cè)和語義分割任務(wù)。與傳統(tǒng)的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當(dāng)前的融合方法，就潛在的研究機(jī)會(huì)展開討論。
最近，用于自動(dòng)駕駛感知任務(wù)的多模態(tài)融合方法發(fā)展迅速，其從跨模態(tài)特征表示和更可靠的模態(tài)傳感器，到更復(fù)雜、更穩(wěn)健的多模態(tài)融合深度學(xué)習(xí)模型和技術(shù)。然而，只有少數(shù)文獻(xiàn)綜述集中在多模態(tài)融合方法本身的方法論上，大多數(shù)文獻(xiàn)都遵循傳統(tǒng)規(guī)則，將其分為前融合、深度（特征）融合和后融合三大類，重點(diǎn)關(guān)注深度學(xué)習(xí)模型中融合特征的階段，無論是數(shù)據(jù)級(jí)、特征級(jí)還是提議級(jí)。首先，這種分類法沒有明確定義每個(gè)級(jí)別的特征表示。其次，它表明，激光雷達(dá)和攝像頭這兩個(gè)分支在處理過程中始終是對(duì)稱的，模糊了激光雷達(dá)分支中融合提議級(jí)特征和攝像頭分支中融合數(shù)據(jù)級(jí)特征的情況。綜上所述，傳統(tǒng)的分類法可能是直觀的，但對(duì)于總結(jié)最近出現(xiàn)的越來越多的多模態(tài)融合方法來說卻很落后，這使得研究人員無法從系統(tǒng)的角度對(duì)其進(jìn)行研究和分析。
如圖是自動(dòng)駕駛感知任務(wù)的示意圖：
深度學(xué)習(xí)模型僅限于輸入的表示。為了實(shí)現(xiàn)該模型，需要在數(shù)據(jù)輸入模型之前，通過一個(gè)復(fù)雜的特征提取器對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。
至于圖像分支，大多數(shù)現(xiàn)有方法保持與下游模塊輸入的原始數(shù)據(jù)相同的格式。然而，激光雷達(dá)分支高度依賴于數(shù)據(jù)格式，這種格式強(qiáng)調(diào)不同的特性，并對(duì)下游模型設(shè)計(jì)產(chǎn)生巨大影響。
展開 多傳感器融合，叩開自動(dòng)駕駛大門
其中，多傳感器融合也被認(rèn)為是自動(dòng)駕駛未來的重要發(fā)展趨勢(shì)。
目前用于自動(dòng)駕駛的傳感器主要有激光雷達(dá)、毫米波雷達(dá)以及攝像頭三類，其各具優(yōu)缺點(diǎn)。激光雷達(dá)具有高精度、高分辨率的優(yōu)勢(shì)，然而其易受雨霧等極端天氣影響，且成本居高不下，不利于大規(guī)模量產(chǎn)。雖然毫米波雷達(dá)可解決激光雷達(dá)的部分缺點(diǎn)，但是其探測(cè)距離易受元器件功率及潮濕環(huán)境影響。另一方面，如果不與其他傳感器配合使用，攝像頭在夜晚就顯得捉襟見肘了。
針對(duì)感知層的現(xiàn)狀，Lance Williams表示：“傳感器融合是具潛力的方案，也是迫在眉睫的挑戰(zhàn)。有效地開發(fā)和實(shí)施一個(gè)含多傳感器的方案也面臨著許多挑戰(zhàn)。”
具體而言，多傳感器融合就是將多個(gè)傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性。雖然在原理上看似簡單，但是在自動(dòng)駕駛場(chǎng)景中則顯得充滿挑戰(zhàn)。多傳感器融合，需要對(duì)每個(gè)傳感器采集的信息進(jìn)行快速處理，從而讓高速行駛的汽車及時(shí)進(jìn)行反饋動(dòng)作，以應(yīng)對(duì)突發(fā)的交通情況。由此可見，多傳感器融合并不僅僅是硬件方面的協(xié)同配合，還包括決策層的算法和算力支持。
為此，安森美半導(dǎo)體在自動(dòng)駕駛感知層覆蓋了所有的傳感器方案，包括超聲波、成像、雷達(dá)、光達(dá)，可支持視覺、前視先進(jìn)駕駛輔助系統(tǒng)(ADAS)、車道偏離警告、自適應(yīng)巡航控制、乘員檢測(cè)、電子車鏡、駕駛員監(jiān)控和手勢(shì)識(shí)別。在決策層方面，還是關(guān)鍵廠商如Mobileye、NVIDIA和英特爾的主要供應(yīng)商。另外，在執(zhí)行層安森美半導(dǎo)體還提供用于致動(dòng)、控制和驅(qū)動(dòng)的各種產(chǎn)品。
對(duì)于未來的發(fā)展，Lance Williams也透露透漏自動(dòng)駕駛將成為安森美半導(dǎo)體汽車市場(chǎng)策略中的一個(gè)重點(diǎn)應(yīng)用。除了持續(xù)投資內(nèi)部發(fā)展之外，還將通過收購進(jìn)行擴(kuò)展。
展開 
蔚來公布自動(dòng)駕駛進(jìn)展：放棄純視覺路線，做多傳感器融合
隨著 ADAS 逐步優(yōu)化，自動(dòng)駕駛 Team——現(xiàn)在 360 多人，很多精力都會(huì)放在 L4 平臺(tái)的開放上。蔚來會(huì)跳過 L3 直接到 L4。
至于現(xiàn)在的第一代車，也就是 ES8 ，以目前傳感器和運(yùn)算能力，做不到L4，我們也不會(huì)宣布可以做到 L3。
李斌說，蔚來下一代的自動(dòng)駕駛平臺(tái)，會(huì)用到更多的傳感器，激光雷達(dá)、紅外，滿足不同場(chǎng)景下的需求。從今天角度來看，不用更多傳感器，是做不到L4。有些公司，宣稱攝像頭可以。以產(chǎn)業(yè)共識(shí)來看，是有誤導(dǎo)的。（我覺得說的就是特斯拉）
其實(shí)不光是傳感器與芯片，還需要考慮冗余與備份。一個(gè)轉(zhuǎn)向器壞了，剎車壞了怎么板？蔚來需要完整設(shè)計(jì)這個(gè)體系。
與特斯拉基于攝像頭的感知是不同，蔚來依靠多傳感器融合，選擇跳過 L3 選擇直接 L4，提高自動(dòng)駕駛的研發(fā)進(jìn)程。
總結(jié)
蔚來以前的目標(biāo)是做”中國的特斯拉”，然而特斯拉卻偏偏進(jìn)入了中國，蔚來跟自己的模仿對(duì)象競爭，技術(shù)功能上至少落后2年，而且價(jià)格也并不占任何優(yōu)勢(shì)。用戶花了很高的價(jià)錢，買了一臺(tái)裝滿傳感器的ES8智能車，然而該平臺(tái)可能最終無法升級(jí)到想要的L4功能，蔚來汽車自動(dòng)駕駛的未來并不明朗。
展開 康謀分享 | 基于多傳感器數(shù)據(jù)的自動(dòng)駕駛仿真確定性驗(yàn)證
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件，尤其是基于游戲引擎開發(fā)的平臺(tái)，其核心設(shè)計(jì)目標(biāo)之一是高效地為玩家提供充滿驚喜和變化的娛樂體驗(yàn)。這種內(nèi)在的隨機(jī)性，在游戲世界里是優(yōu)點(diǎn)，但在嚴(yán)謹(jǐn)?shù)钠嚋y(cè)試領(lǐng)域，卻是一個(gè)致命的缺陷。
想象一下在仿真測(cè)試過程中，工程師精心設(shè)置了所有參數(shù)——車輛速度、行人軌跡、天氣狀況、傳感器配置——期望能穩(wěn)定復(fù)現(xiàn)一個(gè)特定的危險(xiǎn)場(chǎng)景。然而，每次點(diǎn)擊“開始”，結(jié)果卻不盡相同：第一次，車輛完美避讓；第二次，發(fā)生了輕微碰撞；第三次，又安然無恙。這或許并非是算法時(shí)好時(shí)壞，而是仿真環(huán)境本身在“搖擺不定”。
02 隨機(jī)性的前因與后果
Greg等人研究指出，基于游戲引擎的仿真環(huán)境，其隨機(jī)性并非偶然，而是源于其底層架構(gòu)的諸多方面：
（1）資源負(fù)載與調(diào)度：系統(tǒng)CPU/GPU的負(fù)載波動(dòng)，會(huì)直接影響物理引擎的計(jì)算時(shí)機(jī)和順序，導(dǎo)致即使輸入完全相同，輸出的軌跡也會(huì)產(chǎn)生高達(dá)數(shù)十厘米的偏差。
（2）物理引擎的“模糊”處理：為了實(shí)時(shí)渲染流暢的畫面，游戲引擎在處理物體碰撞等復(fù)雜物理交互時(shí)，往往采用近似計(jì)算。這種不精確性在一次碰撞后會(huì)被急劇放大，甚至影響到場(chǎng)景中其他未參與碰撞的物體，造成全局性的結(jié)果污染。
（3）多線程與并行計(jì)算：為了效率，引擎會(huì)將任務(wù)分配給多個(gè)線程并行處理，但線程完成的順序并非每次都固定，這種執(zhí)行順序的微小變化，會(huì)像蝴蝶效應(yīng)一樣，最終導(dǎo)致仿真結(jié)果的巨大差異。
這種隨機(jī)性帶來的問題是災(zāi)難性的：
（1）問題無法追溯：當(dāng)測(cè)試中出現(xiàn)問題，工程師無法穩(wěn)定復(fù)現(xiàn)它，也就無從定位和修復(fù)缺陷，極大地增加了調(diào)試成本和時(shí)間。
（2）結(jié)果失去可信度：如果仿真結(jié)果不穩(wěn)定，如何相信它所提供的安全驗(yàn)證報(bào)告？這會(huì)給自動(dòng)駕駛系統(tǒng)的安全性帶來“偽證”，造成虛假的安全感。
展開 2021年全國激光測(cè)振與多傳感融合技術(shù)應(yīng)用研討會(huì)云會(huì)議通知
為更好的提升我國振動(dòng)傳感檢測(cè)技術(shù)，促進(jìn)高等學(xué)校、研究院所和企業(yè)密切合作，推進(jìn)激光測(cè)振與多傳感融合技術(shù)在機(jī)器人、智能檢測(cè)、電機(jī)電力、交通監(jiān)測(cè)和超聲等領(lǐng)域的應(yīng)用，中國振動(dòng)工程學(xué)會(huì)振動(dòng)利用工程專業(yè)委員會(huì)、浙江省振動(dòng)工程學(xué)會(huì)和寧波大學(xué)壓電器件技術(shù)實(shí)驗(yàn)室將聯(lián)合主辦“2021年全國激光測(cè)振與多傳感融合技術(shù)應(yīng)用研討會(huì)”。
自動(dòng)駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動(dòng)駕駛汽車中，傳感器融合是融合來自多個(gè)傳感器數(shù)據(jù)的過程。該步驟在機(jī)器人技術(shù)中是強(qiáng)制性的，因?yàn)樗峁┝烁叩目煽啃浴⑷哂嘈砸约白罱K的安全性。
為了更好地理解，讓我們考慮一個(gè)簡單的例子，如激光雷達(dá)和相機(jī)都在看著行人：
如果兩個(gè)傳感器中的一個(gè)沒有檢測(cè)到行人，我們將使用另一個(gè)傳感器作為冗余來增加檢測(cè)到行人的機(jī)會(huì)。
如果兩個(gè)傳感器都檢測(cè)到了行人，傳感器融合技術(shù)將使我們更準(zhǔn)確地知道行人的位置……通過處理兩個(gè)傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進(jìn)行最精確的估計(jì)。
在融合傳感器時(shí)，我們實(shí)際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。
本文將重點(diǎn)介紹傳感器融合的3種分類和9種算法。
按抽象級(jí)別進(jìn)行傳感器融合
最常見的融合類型是抽象級(jí)別的。在這種情況下，問題是“應(yīng)該什么時(shí)候進(jìn)行融合？”
文章激光雷達(dá)和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業(yè)界，還有其他稱呼：低級(jí)（Low Level）、中級(jí)（Mid-Level）和高級(jí)（High-Level）傳感器融合。
低級(jí)別融合：融合原始數(shù)據(jù)
低級(jí)別傳感器融合是關(guān)于融合來自多個(gè)傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達(dá)的點(diǎn)云數(shù)據(jù)和來自攝像頭的像素級(jí)數(shù)據(jù)。
展開 