傳感器融合技術(shù)的案例
交通管控中多傳感器融合技術(shù)的優(yōu)勢(shì)
德國(guó)Jenoptik集團(tuán)推出多傳感器融合技術(shù)來(lái)避免混淆監(jiān)測(cè)。
Jenoptik集團(tuán)目前正在聚焦于ITS部門(mén)的多傳感器融合技術(shù)應(yīng)用的優(yōu)勢(shì)。當(dāng)考慮利用傳感器系統(tǒng)來(lái)改善交通擁堵和道路安全問(wèn)題時(shí)，如果是涉及到警務(wù)安全，考慮只采用雷達(dá)系統(tǒng)或激光掃描儀來(lái)實(shí)現(xiàn)。但現(xiàn)在管理者需要的是檢測(cè)和監(jiān)控車(chē)輛的解決方案，并同時(shí)實(shí)現(xiàn)執(zhí)法功能，而目前并沒(méi)有哪一種傳感器技術(shù)能夠全部滿足這些條件，因此最優(yōu)的解決方案是使用傳感器和其他組件的組合優(yōu)勢(shì)來(lái)達(dá)到結(jié)果。
但大家必須清楚，多傳感器融合并不是電影《1984》的現(xiàn)實(shí)版本，它不會(huì)以“老大哥”無(wú)所不在的方式監(jiān)視著公眾。相反，該技術(shù)以多種方式來(lái)協(xié)助道路使用者，高速公路運(yùn)營(yíng)商和交警以及公眾，為所有人提供更安全，更高效的旅程。
交叉路口的三維運(yùn)動(dòng)物體識(shí)別
多傳感器數(shù)據(jù)融合
多傳感器融合需要模塊化的多傳感器和基于基礎(chǔ)設(shè)施的物體檢測(cè)系統(tǒng)組合，并通過(guò)先進(jìn)的傳感器技術(shù)（立體攝像機(jī)，車(chē)牌識(shí)別攝像機(jī)，雷達(dá)和激光等）檢測(cè)所有關(guān)于交通狀況和道路使用者的信息，并實(shí)現(xiàn)實(shí)時(shí)流量數(shù)據(jù)的收集。在這里，傳感器的測(cè)量范圍和速度的準(zhǔn)確性，檢測(cè)率，穩(wěn)定性，都會(huì)受到環(huán)境條件（照明，雨雪和溫度）的影響。
Jenoptik集團(tuán)目前已經(jīng)推出用于檢測(cè)往來(lái)車(chē)輛車(chē)型，車(chē)牌識(shí)別，車(chē)軸數(shù)等數(shù)據(jù)的模塊化的多傳感器融合系統(tǒng)。該系統(tǒng)的部署必須預(yù)先知道哪些組件安裝在什么地方可以實(shí)現(xiàn)復(fù)雜交通狀況的監(jiān)控預(yù)期效果。路邊組件會(huì)將采集到的數(shù)據(jù)發(fā)送到后臺(tái)處理系統(tǒng)進(jìn)行評(píng)估。另外，智能車(chē)牌識(shí)別軟件還可實(shí)現(xiàn)車(chē)輛信息與運(yùn)營(yíng)商數(shù)據(jù)的融合。
左：攝像機(jī)覆蓋區(qū)域。右：雷達(dá)覆蓋區(qū)域
路邊數(shù)據(jù)通常來(lái)源于車(chē)牌識(shí)別攝像機(jī)，包括車(chē)牌和車(chē)輛類(lèi)型的圖像等，這些數(shù)據(jù)通過(guò)加密后部分或完全傳輸?shù)街醒霐?shù)據(jù)服務(wù)器。但這些數(shù)據(jù)在不進(jìn)行分析的情況下，只能算原始信息，價(jià)值并不大。
展開(kāi) 康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析
在汽車(chē)行業(yè)邁向智能化、自動(dòng)化的今天，自動(dòng)駕駛技術(shù)也在快速發(fā)展。為了進(jìn)一步讓自動(dòng)駕駛更加“智能化”，像老師傅一樣進(jìn)行開(kāi)車(chē)，離不開(kāi)對(duì)車(chē)輛周?chē)h(huán)境的全面認(rèn)識(shí)。
面對(duì)復(fù)雜的感知任務(wù)，單一傳感器的局限性逐漸顯現(xiàn)，比如相機(jī)對(duì)目標(biāo)的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標(biāo)精確的3D信息，但無(wú)法獲得目標(biāo)紋理，易產(chǎn)生噪點(diǎn)等情況。多傳感器數(shù)據(jù)融合技術(shù)應(yīng)時(shí)而生，通過(guò)整合不同傳感器的優(yōu)勢(shì)，為車(chē)輛提供了一個(gè)全面、立體的感知維度。
一、多傳感器融合的先決條件
當(dāng)多種傳感器裝在同一輛車(chē)上時(shí)，使用同一個(gè)系統(tǒng)來(lái)采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準(zhǔn)識(shí)別同一個(gè)物體，需要對(duì)這些傳感器進(jìn)行統(tǒng)一時(shí)鐘和坐標(biāo)系，即最終實(shí)現(xiàn)：同一個(gè)目標(biāo)在同一個(gè)時(shí)刻出現(xiàn)在不同類(lèi)別的傳感器的同一個(gè)世界坐標(biāo)處。
圖1：傳感器融合先決條件
1、統(tǒng)一時(shí)鐘
確保所有傳感器數(shù)據(jù)在時(shí)間上的一致性，為后續(xù)處理提供同步基準(zhǔn)。關(guān)于時(shí)間同步的詳細(xì)內(nèi)容可見(jiàn)往期內(nèi)容：
《自動(dòng)駕駛：揭秘高精度時(shí)間同步技術(shù)（一）》
https://www.yqgqt.org.cn/post/1942685
《自動(dòng)駕駛：揭秘高精度時(shí)間同步技術(shù)（二）》
https://www.yqgqt.org.cn/post/1943634
2、統(tǒng)一坐標(biāo)系
統(tǒng)一坐標(biāo)系包含兩步，一是運(yùn)動(dòng)補(bǔ)償，二是傳感器標(biāo)定。
① 運(yùn)動(dòng)補(bǔ)償：確保數(shù)據(jù)時(shí)效性
運(yùn)動(dòng)補(bǔ)償是針對(duì)周期性采集數(shù)據(jù)的傳感器，如激光雷達(dá)（LiDAR），其數(shù)據(jù)采集周期可能長(zhǎng)達(dá)100毫秒。
展開(kāi) 技術(shù)探秘 | 自動(dòng)駕駛汽車(chē)傳感器融合系統(tǒng)，及多傳感器數(shù)據(jù)融合算法淺析
目前而言，車(chē)載感知模塊包括視覺(jué)感知模塊、毫米波雷達(dá)、超聲波雷達(dá)、360°環(huán)視系統(tǒng)等，多源傳感器的協(xié)同作用識(shí)別道路車(chē)道線、行人車(chē)輛等障礙物，為安全駕駛保駕護(hù)航。因此，感知信息也需要融合，感知信息也需要相互補(bǔ)充。
這里引出一個(gè)重要的概念：多傳感器信息融合（information fusion）。各種不同的傳感器，對(duì)應(yīng)不同的工況環(huán)境和感知目標(biāo)。比方說(shuō)，毫米波雷達(dá)主要識(shí)別前向中遠(yuǎn)距離障礙物（0.5米-150米），如路面車(chē)輛、行人、路障等。超聲波雷達(dá)主要識(shí)別車(chē)身近距離障礙物（0.2米-5米），如泊車(chē)過(guò)程中的路沿、靜止的前后車(chē)輛、過(guò)往的行人等信息。兩者協(xié)同作用，互補(bǔ)不足，通過(guò)測(cè)量障礙物角度、距離、速度等數(shù)據(jù)融合，刻畫(huà)車(chē)身周邊環(huán)境和可達(dá)空間范圍。
圖6：智能汽車(chē)感知模塊
信息融合起初叫做數(shù)據(jù)融合（data fusion），起源于1973年美國(guó)國(guó)防部資助開(kāi)發(fā)的聲納信號(hào)處理系統(tǒng)，在20世紀(jì)90年代，隨著信息技術(shù)的廣泛發(fā)展，具有更廣義化概念的“信息融合”被提出來(lái)，多傳感器數(shù)據(jù)融合MSDF (Multi-sensor Data Fusion）技術(shù)也應(yīng)運(yùn)而生。
數(shù)據(jù)融合主要優(yōu)勢(shì)在于：充分利用不同時(shí)間與空間的多傳感器數(shù)據(jù)資源，采用計(jì)算機(jī)技術(shù)按時(shí)間序列獲得多傳感器的觀測(cè)數(shù)據(jù)，在一定準(zhǔn)則下進(jìn)行分析、綜合、支配和使用。獲得對(duì)被測(cè)對(duì)象的一致性解釋與描述，進(jìn)而實(shí)現(xiàn)相應(yīng)的決策和估計(jì)，使系統(tǒng)獲得比它各組成部分更為充分的信息。
一般地，多源傳感器數(shù)據(jù)融合處理過(guò)程包括六個(gè)步驟，如下圖所示。首先是多源傳感系統(tǒng)搭建與定標(biāo)，進(jìn)而采集數(shù)據(jù)并進(jìn)行數(shù)字信號(hào)轉(zhuǎn)換，再進(jìn)行數(shù)據(jù)預(yù)處理和特征提取，接著是融合算法的計(jì)算分析，最后輸出穩(wěn)定的、更為充分的、一致性的目標(biāo)特征信息。
圖7：多源數(shù)據(jù)融合過(guò)程
利用多個(gè)傳感器所獲取的關(guān)于對(duì)象和環(huán)境全面、完整信息，主要體現(xiàn)在融合算法上。
展開(kāi) 【11月3-5日 北京】無(wú)人駕駛多傳感器技術(shù)和系統(tǒng)功能開(kāi)發(fā)技術(shù)高級(jí)培訓(xùn)班
第二章主要圍繞毫米波雷達(dá)技術(shù)的原理，車(chē)載毫米波雷達(dá)的研發(fā)現(xiàn)狀，主要技術(shù)瓶頸，分享在工程量產(chǎn)時(shí)碰到的一些痛點(diǎn)及解決方案。未來(lái)雷達(dá)技術(shù)的發(fā)展方向，系統(tǒng)地分析雷達(dá)在輔助駕駛和無(wú)人駕駛技術(shù)中應(yīng)用。同時(shí)分析攝像頭技術(shù)和激光雷達(dá)，以及不同傳感器的技術(shù)參數(shù)以及各自的優(yōu)缺點(diǎn)，引出下一章基于多傳感器技術(shù)的多種輔助駕駛系統(tǒng)。
作為真正意義上的無(wú)人駕駛技術(shù)，不僅需要多傳感器技術(shù)互相配合分工，實(shí)現(xiàn)系統(tǒng)冗余達(dá)到更高的安全級(jí)別，同時(shí)人工智能算法，高速的數(shù)字網(wǎng)絡(luò)基礎(chǔ)設(shè)施，高精地圖和信息安全技術(shù)等是不可缺少的一部分。通過(guò)全面的講解，使學(xué)員對(duì)整個(gè)無(wú)人駕駛技術(shù)得到全面的認(rèn)識(shí)。第五章將從國(guó)家發(fā)展戰(zhàn)略高度來(lái)解析無(wú)人駕駛技術(shù)將來(lái)的運(yùn)營(yíng)和普及，以及該領(lǐng)域帶來(lái)的新的商業(yè)模式。
第二部分，聚焦無(wú)人駕駛中的關(guān)鍵技術(shù)-多傳感器融合。本課程前三章首先闡述車(chē)規(guī)級(jí)前裝量產(chǎn)自動(dòng)駕駛項(xiàng)目對(duì)于多傳感器融合技術(shù)的要求，并介紹當(dāng)今全球無(wú)人駕駛感知方面的主流技術(shù)方案。
第四章和第五章詳細(xì)介紹傳感器融合的基本原理和兩種基本技術(shù)方案-前端與后端融合。當(dāng)前比較普遍的做法是基于檢測(cè)對(duì)象的后端融合。這種做法被廣泛應(yīng)用于多種輔助駕駛量產(chǎn)項(xiàng)目中。后端融合對(duì)各傳感器采集的信息進(jìn)行單獨(dú)、孤立地處理，不僅會(huì)導(dǎo)致信息處理工作量的增加，而且，割斷了各傳感器信息間的內(nèi)在聯(lián)系，丟失了信息經(jīng)有機(jī)組合后可能蘊(yùn)含的有關(guān)環(huán)境特征，造成信息資源的浪費(fèi)，甚至可能導(dǎo)致決策失誤。基于傳感器原始數(shù)據(jù)的前端融合致力于更有效合理的處理傳感器原始數(shù)據(jù)從而實(shí)現(xiàn)多傳感器的互補(bǔ)，是現(xiàn)在公認(rèn)的技術(shù)發(fā)展方向。但是對(duì)于相對(duì)成熟的后端融合，前端融合仍然有很多技術(shù)痛點(diǎn)仍然亟待攻克。傳感器專家將對(duì)多傳感器前端融合技術(shù)痛點(diǎn)通過(guò)具體案例分享自己在工作中的心得和體會(huì)。
主講專家
資深專家1: 博士，全德華人機(jī)電工程師學(xué)會(huì)、中德教育與科技合作促進(jìn)中心特聘專家。
展開(kāi) 
多傳感器融合技術(shù)原理及融合技術(shù)分析
來(lái)源 | CSDN
概述
多傳感器融合（Multi-sensor Fusion, MSF）是利用計(jì)算機(jī)技術(shù)，將來(lái)自多傳感器或多源的信息和數(shù)據(jù)以一定的準(zhǔn)則進(jìn)行自動(dòng)分析和綜合，以完成所需的決策和估計(jì)而進(jìn)行的信息處理過(guò)程。
多傳感器融合基本原理就像人腦綜合處理信息的過(guò)程一樣，將各種傳感器進(jìn)行多層次、多空間的信息互補(bǔ)和優(yōu)化組合處理，最終產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋。在這個(gè)過(guò)程中要充分利用多源數(shù)據(jù)進(jìn)行合理支配與使用，而信息融合的最終目標(biāo)則是基于各傳感器獲得的分離觀測(cè)信息，通過(guò)對(duì)信息多級(jí)別、多方面組合導(dǎo)出更多有用信息。這不僅是利用了多個(gè)傳感器相互協(xié)同操作的優(yōu)勢(shì)，而且也綜合處理了其它信息源的數(shù)據(jù)來(lái)提高整個(gè)傳感器系統(tǒng)的智能化。
具體來(lái)講，多傳感器數(shù)據(jù)融合原理如下：
（1）多個(gè)不同類(lèi)型傳感器（有源或無(wú)源）收集觀測(cè)目標(biāo)的數(shù)據(jù)；
（2）對(duì)傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時(shí)間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個(gè)直接的屬性說(shuō)明）進(jìn)行特征提取的變換，提取代表觀測(cè)數(shù)據(jù)的特征矢量Yi；
（3）對(duì)特征矢量Yi進(jìn)行模式識(shí)別處理（如聚類(lèi)算法、自適應(yīng)神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標(biāo)屬性判決的統(tǒng)計(jì)模式識(shí)別法等），完成各傳感器關(guān)于目標(biāo)的說(shuō)明；
（4）將各傳感器關(guān)于目標(biāo)的說(shuō)明數(shù)據(jù)按同一目標(biāo)進(jìn)行分組，即關(guān)聯(lián)；
（5）利用融合算法將目標(biāo)的各傳感器數(shù)據(jù)進(jìn)行合成，得到該目標(biāo)的一致性解釋與描述。
以Autoware為例，在自動(dòng)駕駛中，傳感器是汽車(chē)感知周?chē)沫h(huán)境的硬件基礎(chǔ)，在實(shí)現(xiàn)自動(dòng)駕駛的各個(gè)階段都必不可少。自動(dòng)駕駛離不開(kāi)感知層、控制層和執(zhí)行層的相互配合。
展開(kāi) 自動(dòng)駕駛中的9種傳感器融合算法
來(lái)源 |
AI修煉之路
在自動(dòng)駕駛汽車(chē)中，傳感器融合是融合來(lái)自多個(gè)傳感器數(shù)據(jù)的過(guò)程。該步驟在機(jī)器人技術(shù)中是強(qiáng)制性的，因?yàn)樗峁┝烁叩目煽啃浴⑷哂嘈砸约白罱K的安全性。
為了更好地理解，讓我們考慮一個(gè)簡(jiǎn)單的例子，如激光雷達(dá)和相機(jī)都在看著行人：
如果兩個(gè)傳感器中的一個(gè)沒(méi)有檢測(cè)到行人，我們將使用另一個(gè)傳感器作為冗余來(lái)增加檢測(cè)到行人的機(jī)會(huì)。
如果兩個(gè)傳感器都檢測(cè)到了行人，傳感器融合技術(shù)將使我們更準(zhǔn)確地知道行人的位置……通過(guò)處理兩個(gè)傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來(lái)處理這些噪聲，并盡可能進(jìn)行最精確的估計(jì)。
在融合傳感器時(shí)，我們實(shí)際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類(lèi)。
本文將重點(diǎn)介紹傳感器融合的3種分類(lèi)和9種算法。
按抽象級(jí)別進(jìn)行傳感器融合
最常見(jiàn)的融合類(lèi)型是抽象級(jí)別的。在這種情況下，問(wèn)題是“應(yīng)該什么時(shí)候進(jìn)行融合？”
文章激光雷達(dá)和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過(guò)程。
在業(yè)界，還有其他稱呼：低級(jí)（Low Level）、中級(jí)（Mid-Level）和高級(jí)（High-Level）傳感器融合。
低級(jí)別融合：融合原始數(shù)據(jù)
低級(jí)別傳感器融合是關(guān)于融合來(lái)自多個(gè)傳感器的原始數(shù)據(jù)。例如，融合來(lái)自激光雷達(dá)的點(diǎn)云數(shù)據(jù)和來(lái)自攝像頭的像素級(jí)數(shù)據(jù)。
展開(kāi) 九小場(chǎng)所消防安全：傳感器技術(shù)筑起守護(hù)防線
為了守護(hù)這些場(chǎng)所的安全，傳感器技術(shù)正逐步成為消防安全管理的重要利器。
智慧消防：從“事后處理”到“事前預(yù)防”
傳統(tǒng)消防管理模式往往側(cè)重于火災(zāi)發(fā)生后的應(yīng)急響應(yīng)，但這種方式在九小場(chǎng)所中顯然力不從心。智慧消防理念的提出，為破解這一難題提供了新思路。通過(guò)引入傳感器技術(shù)，實(shí)現(xiàn)對(duì)火災(zāi)風(fēng)險(xiǎn)的實(shí)時(shí)監(jiān)控與預(yù)警，將消防工作從“事后處理”轉(zhuǎn)向“事前預(yù)防”，有效降低了火災(zāi)發(fā)生的概率和損失。
傳感器技術(shù)：火災(zāi)探測(cè)的“火眼金睛”
在九小場(chǎng)所的消防安全管理中，傳感器技術(shù)發(fā)揮著至關(guān)重要的作用。特別是在火災(zāi)初期，當(dāng)肉眼難以察覺(jué)時(shí)，傳感器卻能敏銳地捕捉到火災(zāi)的前兆信號(hào)。其中，一氧化碳傳感器因其高靈敏度和高選擇性，成為火災(zāi)探測(cè)領(lǐng)域的佼佼者。
一氧化碳作為火災(zāi)燃燒過(guò)程中釋放的重要?dú)怏w之一，其濃度在火災(zāi)初期會(huì)迅速上升。通過(guò)安裝高靈敏度的一氧化碳傳感器，如TGS5141-P00，可以實(shí)現(xiàn)對(duì)火災(zāi)跡象的早期探測(cè)。這款傳感器不僅體積小、功耗低，而且具有超長(zhǎng)的使用壽命和可靠的穩(wěn)定性，非常適合在九小場(chǎng)所中廣泛應(yīng)用。
多傳感器融合：提升火災(zāi)預(yù)警的可靠性
為了提高火災(zāi)預(yù)警的準(zhǔn)確性和可靠性，九小場(chǎng)所的消防系統(tǒng)往往采用多傳感器融合技術(shù)。除了一氧化碳傳感器外，還可以結(jié)合煙霧傳感器、溫度傳感器等多種探測(cè)手段，進(jìn)行綜合判斷。這種多傳感器融合的方式，能夠有效避免單一傳感器可能存在的誤報(bào)或漏報(bào)問(wèn)題，提升整個(gè)消防系統(tǒng)的智能化水平。
可燃?xì)怏w傳感器：守護(hù)餐飲業(yè)的“安全衛(wèi)士”
對(duì)于餐飲業(yè)這一九小場(chǎng)所的重要組成部分，可燃?xì)怏w傳感器同樣不可或缺。餐飲業(yè)中廣泛使用的天然氣、液化氣等易燃?xì)怏w，一旦泄漏就可能引發(fā)嚴(yán)重的爆炸事故。
展開(kāi) 多傳感器融合定位是否足夠安全？
防御措施討論
GPS反欺騙
我們的攻擊基于GPS欺騙，因此一個(gè)直接的防御方向是利用現(xiàn)有的GPS欺騙檢測(cè)或防御技術(shù)。但是，如今GPS欺騙檢測(cè)和預(yù)防都不能完全解決問(wèn)題。在檢測(cè)方面，已經(jīng)提出了許多技術(shù)，它們利用信號(hào)功率監(jiān)視，基于多天線的信號(hào)到達(dá)角檢測(cè)或基于眾包的交叉驗(yàn)證。但是，它們要么被更先進(jìn)的欺騙器所規(guī)避，要么僅適用于有限的領(lǐng)域，例如機(jī)載GPS接收器。在預(yù)防方面，基于密碼認(rèn)證的民用GPS基礎(chǔ)架構(gòu)可以從根本上防止直接制造欺騙GPS信號(hào)；但是，它需要對(duì)現(xiàn)有的衛(wèi)星基礎(chǔ)設(shè)施和GPS接收器進(jìn)行重大修改，并且仍然容易受到重放攻擊的影響。
MSF和LiDAR
另一個(gè)防御方向是改良MSF算法和LiDAR定位，這是影響現(xiàn)實(shí)中接管漏洞的兩個(gè)最重要因素。從根本上說(shuō)，實(shí)際中的這種MSF算法中的不確定狀態(tài)是由于LiDAR定位算法的不準(zhǔn)確和傳感器噪聲引起的。并且正如我們的分析所示，即使對(duì)于當(dāng)今自動(dòng)駕駛汽車(chē)中使用的高端傳感器和生產(chǎn)級(jí)LiDAR，這些誤差和噪聲也足夠大且頻繁，足以使FusionRipper得以利用。為了對(duì)此進(jìn)行改進(jìn)，需要在傳感器和基于LiDAR的定位方面取得技術(shù)突破。
利用獨(dú)立的定位源（例如基于攝像機(jī)的車(chē)道檢測(cè)）作為不安全狀態(tài)下的定位。
對(duì)于能夠短期內(nèi)實(shí)現(xiàn)的方案來(lái)說(shuō)，一個(gè)有希望的方向是利用獨(dú)立的定位源來(lái)交叉檢查定位結(jié)果，從而充當(dāng)不安全狀態(tài)下的定位源。例如，由于偏離和逆向攻擊都將導(dǎo)致受騙汽車(chē)偏離當(dāng)前車(chē)道，因此應(yīng)該可以通過(guò)基于攝像頭的車(chē)道檢測(cè)來(lái)檢測(cè)故障，這是當(dāng)今許多車(chē)輛模型中可用的成熟技術(shù)。但是，我們發(fā)現(xiàn)在當(dāng)今的自駕系統(tǒng)設(shè)計(jì)中，并未普遍考慮使用這種技術(shù)。例如，百度Apollo（5.5版）僅將其用于相機(jī)校準(zhǔn)，而Autoware則根本不使用它。這可能是因?yàn)檐?chē)道檢測(cè)輸出是當(dāng)前車(chē)道邊界內(nèi)的局部定位，因此無(wú)法直接用于與MSF的全局定位進(jìn)行比較。
展開(kāi) 傳感器融合-數(shù)據(jù)篇（自動(dòng)駕駛）
作者 | 黃浴
來(lái)源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動(dòng)駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務(wù)層像障礙物檢測(cè)（obstacle detection），車(chē)道線檢測(cè)（lane detection），分割（segmentation）和跟蹤（tracking）以及車(chē)輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達(dá)和毫米波雷達(dá)之間，因?yàn)楹撩撞ɡ走_(dá)的目標(biāo)分辨率很低（無(wú)法確定目標(biāo)大小和輪廓），但可以在高層上探索融合，比如目標(biāo)速度估計(jì)，跟蹤的軌跡等等。
這里主要介紹一下激光雷達(dá)和攝像頭的數(shù)據(jù)融合，實(shí)際是激光雷達(dá)點(diǎn)云投影在攝像頭圖像平面形成的深度和圖像估計(jì)的深度進(jìn)行結(jié)合，理論上可以將圖像估計(jì)的深度反投到3-D空間形成點(diǎn)云和激光雷達(dá)的點(diǎn)云融合，但很少人用。原因是，深度圖的誤差在3-D空間會(huì)放大，另外是3-D空間的點(diǎn)云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長(zhǎng)，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達(dá)到2K-4K）；另一邊兒激光雷達(dá)成本高，分辨率低，深度探測(cè)距離短。可是，激光雷達(dá)點(diǎn)云測(cè)距精確度非常高，測(cè)距遠(yuǎn)遠(yuǎn)大于那些Infrared/TOF depth sensor，對(duì)室外環(huán)境的抗干擾能力也強(qiáng)，同時(shí)圖像作為被動(dòng)視覺(jué)系統(tǒng)的主要傳感器，深度估計(jì)精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達(dá)的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結(jié)合，形成互補(bǔ)？
展開(kāi) 自動(dòng)駕駛傳感器融合：激光雷達(dá)+攝像頭
前言
自動(dòng)駕駛感知技術(shù)所采用的傳感器主要包括攝像頭，激光雷達(dá)和毫米波雷達(dá)。這些傳感器各有優(yōu)缺點(diǎn)，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點(diǎn)之一。本篇文章介紹如何在感知任務(wù)中融合激光雷達(dá)和攝像頭，重點(diǎn)是目前主流的基于深度學(xué)習(xí)的融合算法。
攝像頭產(chǎn)生的數(shù)據(jù)是2D圖像，對(duì)于物體的形狀和類(lèi)別的感知精度較高。深度學(xué)習(xí)技術(shù)的成功起源于計(jì)算機(jī)視覺(jué)任務(wù)，很多成功的算法也是基于對(duì)圖像數(shù)據(jù)的處理，因此目前基于圖像的感知技術(shù)已經(jīng)相對(duì)成熟。圖像數(shù)據(jù)的缺點(diǎn)在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對(duì)于單目系統(tǒng)來(lái)說(shuō)，獲取場(chǎng)景和物體的深度（距離）信息也比較困難。雙目系統(tǒng)可以解決深度信息獲取的問(wèn)題，但是計(jì)算量很大。激光雷達(dá)在一定程度上彌補(bǔ)了攝像頭的缺點(diǎn)，可以精確的感知物體的距離，但是限制在于成本較高，車(chē)規(guī)要求難以滿足，因此在量產(chǎn)方面比較困難。同時(shí)，激光雷達(dá)生成的3D點(diǎn)云比較稀疏（比如垂直掃描線只有64或128）。對(duì)于遠(yuǎn)距離物體或者小物體來(lái)說(shuō)，反射點(diǎn)的數(shù)量會(huì)非常少。
如下圖所示，圖像數(shù)據(jù)和點(diǎn)云存在著巨大的差別。首先是視角不同，圖像數(shù)據(jù)是真實(shí)世界通過(guò)透視投影得到的二維表示，而三維點(diǎn)云則包含了真實(shí)世界歐式坐標(biāo)系中的三維信息，可以投影到多種視圖。其次是數(shù)據(jù)結(jié)構(gòu)不同，圖像數(shù)據(jù)是規(guī)則的，有序的，稠密的，而點(diǎn)云數(shù)據(jù)是不規(guī)則的，無(wú)序的，稀疏的。在空間分辨率方面，圖像數(shù)據(jù)也比點(diǎn)云數(shù)據(jù)高很多。
圖片來(lái)源于參考文獻(xiàn)[1]
自動(dòng)駕駛感知系統(tǒng)中有兩個(gè)典型的任務(wù)：物體檢測(cè)和語(yǔ)義分割。深度學(xué)習(xí)技術(shù)的興起首先來(lái)自視覺(jué)領(lǐng)域，基于圖像數(shù)據(jù)的物體檢測(cè)和語(yǔ)義分割已經(jīng)被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開(kāi) 自動(dòng)駕駛多傳感器數(shù)據(jù)融合方法
一、摘要
近年來(lái)，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計(jì)算機(jī)視覺(jué)、語(yǔ)音、自然語(yǔ)言處理等方面，并且開(kāi)始涉及更大、更復(fù)雜的多模態(tài)信息問(wèn)題。
不同傳感器在進(jìn)行同一實(shí)驗(yàn)任務(wù)時(shí)，針對(duì)產(chǎn)生的同一現(xiàn)象進(jìn)行觀測(cè)，采集的數(shù)據(jù)構(gòu)成被測(cè)對(duì)象的多模態(tài)信息。多模態(tài)信息可以實(shí)現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實(shí)現(xiàn)比單一模態(tài)更好的性能。
在自動(dòng)駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車(chē)輛上的多個(gè)傳感器，包括雷達(dá)、立體可見(jiàn)光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動(dòng)巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測(cè)繪、場(chǎng)景識(shí)別、路徑規(guī)劃和駕駛員狀態(tài)識(shí)別等。
大多數(shù)先進(jìn)的融合方法集中于如何融合來(lái)自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進(jìn)行簡(jiǎn)單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進(jìn)行處理。LaserNet采用了這種融合策略，將三維的點(diǎn)云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進(jìn)行概率預(yù)測(cè)，實(shí)現(xiàn)端到端的三維物體檢測(cè)。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對(duì)于來(lái)自不同傳感器的模態(tài)信息來(lái)說(shuō)，這種融合方式計(jì)算量大，對(duì)設(shè)備運(yùn)行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對(duì)來(lái)自不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，并對(duì)特征圖進(jìn)行融合操作后輸入到目標(biāo)任務(wù)中進(jìn)行處理。通過(guò)ROI池化的方式將二維圖像和點(diǎn)云鳥(niǎo)瞰圖、前視圖特征整合到同一特征尺度進(jìn)行融合，并構(gòu)建兩個(gè)子網(wǎng)絡(luò)進(jìn)行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實(shí)現(xiàn)了自動(dòng)駕駛場(chǎng)景下高精度的三維物體檢測(cè)。
展開(kāi) 
自動(dòng)駕駛多模態(tài)傳感器融合的綜述
多模態(tài)融合是感知自動(dòng)駕駛系統(tǒng)的一項(xiàng)基本任務(wù)，最近引起了許多研究人員的興趣。然而，由于原始數(shù)據(jù)噪聲大、信息利用率低以及多模態(tài)傳感器的無(wú)對(duì)準(zhǔn)，達(dá)到相當(dāng)好的性能并非易事。
本文對(duì)現(xiàn)有的基于多模態(tài)自動(dòng)駕駛感知任務(wù)方法進(jìn)行了文獻(xiàn)綜述。
分析超過(guò)50篇論文，包括攝像頭和激光雷達(dá)，試圖解決目標(biāo)檢測(cè)和語(yǔ)義分割任務(wù)。與傳統(tǒng)的融合模型分類(lèi)方法不同，作者從融合階段的角度，通過(guò)更合理的分類(lèi)法將融合模型分為兩大類(lèi)，四小類(lèi)。此外，研究了當(dāng)前的融合方法，就潛在的研究機(jī)會(huì)展開(kāi)討論。
最近，用于自動(dòng)駕駛感知任務(wù)的多模態(tài)融合方法發(fā)展迅速，其從跨模態(tài)特征表示和更可靠的模態(tài)傳感器，到更復(fù)雜、更穩(wěn)健的多模態(tài)融合深度學(xué)習(xí)模型和技術(shù)。然而，只有少數(shù)文獻(xiàn)綜述集中在多模態(tài)融合方法本身的方法論上，大多數(shù)文獻(xiàn)都遵循傳統(tǒng)規(guī)則，將其分為前融合、深度（特征）融合和后融合三大類(lèi)，重點(diǎn)關(guān)注深度學(xué)習(xí)模型中融合特征的階段，無(wú)論是數(shù)據(jù)級(jí)、特征級(jí)還是提議級(jí)。首先，這種分類(lèi)法沒(méi)有明確定義每個(gè)級(jí)別的特征表示。其次，它表明，激光雷達(dá)和攝像頭這兩個(gè)分支在處理過(guò)程中始終是對(duì)稱的，模糊了激光雷達(dá)分支中融合提議級(jí)特征和攝像頭分支中融合數(shù)據(jù)級(jí)特征的情況。綜上所述，傳統(tǒng)的分類(lèi)法可能是直觀的，但對(duì)于總結(jié)最近出現(xiàn)的越來(lái)越多的多模態(tài)融合方法來(lái)說(shuō)卻很落后，這使得研究人員無(wú)法從系統(tǒng)的角度對(duì)其進(jìn)行研究和分析。
如圖是自動(dòng)駕駛感知任務(wù)的示意圖：
深度學(xué)習(xí)模型僅限于輸入的表示。為了實(shí)現(xiàn)該模型，需要在數(shù)據(jù)輸入模型之前，通過(guò)一個(gè)復(fù)雜的特征提取器對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。
至于圖像分支，大多數(shù)現(xiàn)有方法保持與下游模塊輸入的原始數(shù)據(jù)相同的格式。然而，激光雷達(dá)分支高度依賴于數(shù)據(jù)格式，這種格式強(qiáng)調(diào)不同的特性，并對(duì)下游模型設(shè)計(jì)產(chǎn)生巨大影響。
展開(kāi) MSC在虛擬試駕中引入可靠的車(chē)輛動(dòng)力學(xué)技術(shù)以加快安全型自動(dòng)駕駛車(chē)輛的開(kāi)發(fā)
目前可以識(shí)別出因車(chē)輛—道路動(dòng)力學(xué)而導(dǎo)致的盲點(diǎn)，藉此確定哪些傳感器在什么時(shí)間可以依賴。例如，可確保汽車(chē)在駛過(guò)減速帶時(shí)能夠感知到行人，即便攝像頭振動(dòng)妨礙了跟蹤。
車(chē)輛原始設(shè)備制造商（OEM）可以評(píng)估傳感器在振動(dòng)或改變方向時(shí)的工作情況，這樣他們就能根據(jù)不同的道路試驗(yàn)以更劃算的方式開(kāi)發(fā)傳感器融合技術(shù)。MSC 軟件的汽車(chē)顧問(wèn) Luca Castignani 解釋說(shuō)：“在剎車(chē)操作期間，與雷達(dá)測(cè)量數(shù)據(jù)相比，安裝在貨車(chē)駕駛室的攝像頭感知會(huì)有明顯改變，那么汽車(chē)前方遇到了什么？我們可以讓 ADAS 工程師開(kāi)發(fā)出與此類(lèi)似的極端測(cè)試場(chǎng)景，以便增強(qiáng)他們決策時(shí)的信心、開(kāi)發(fā)精準(zhǔn)的傳感器融合技術(shù)。”
如今，通過(guò)開(kāi)放的功能模型接口（FMI）及靈活配置，Adams 可直接在 VTD 2019.1 中使用，可仿真包括四輪以上的卡車(chē)及拖車(chē)在內(nèi)的任何車(chē)輛。VTD 能與 Adams 同步進(jìn)行實(shí)時(shí)、快速、強(qiáng)大的仿真。汽車(chē)制造商現(xiàn)在可以通過(guò)開(kāi)放接口“引入自己的人工智能”，將自己的駕駛員在環(huán)系統(tǒng)嵌入到 VTD 中，然后在更準(zhǔn)確的仿真、更豐富的數(shù)據(jù)中進(jìn)行試驗(yàn)并訓(xùn)練自己的自動(dòng)駕駛算法。
VTD 2019.1 支持 OpenDRIVE 1.5 和 OpenSCENARIO 0.9 互操作標(biāo)準(zhǔn)，擁有增強(qiáng)的 LiDAR 仿真能力、更精準(zhǔn)的 GPU 加速光線跟蹤技術(shù)，能夠仿真表面相互作用。它可以在 Red Hat Linux 7.3 上運(yùn)行，配有便于將 VTD 集成到客戶的虛擬實(shí)驗(yàn)環(huán)境中的可選 Docker 容器化模塊，簡(jiǎn)化了在云環(huán)境或公司內(nèi)部基礎(chǔ)設(shè)施上的部署。
展開(kāi) 多傳感器融合，叩開(kāi)自動(dòng)駕駛大門(mén)
2
多傳感器融合成必經(jīng)之路
雖然說(shuō)自動(dòng)駕駛在全球范圍內(nèi)已經(jīng)形成風(fēng)潮，并有望在2021年實(shí)現(xiàn)4級(jí)自動(dòng)駕駛，但是其想要真正走入現(xiàn)實(shí)也并非易事。從技術(shù)方面而言，目前自動(dòng)駕駛的痛點(diǎn)在于穩(wěn)定可靠的感知及認(rèn)知，包括清晰的視覺(jué)、優(yōu)質(zhì)的算法、多傳感器融合以及高效強(qiáng)大的運(yùn)算能力。其中，多傳感器融合也被認(rèn)為是自動(dòng)駕駛未來(lái)的重要發(fā)展趨勢(shì)。
目前用于自動(dòng)駕駛的傳感器主要有激光雷達(dá)、毫米波雷達(dá)以及攝像頭三類(lèi)，其各具優(yōu)缺點(diǎn)。激光雷達(dá)具有高精度、高分辨率的優(yōu)勢(shì)，然而其易受雨霧等極端天氣影響，且成本居高不下，不利于大規(guī)模量產(chǎn)。雖然毫米波雷達(dá)可解決激光雷達(dá)的部分缺點(diǎn)，但是其探測(cè)距離易受元器件功率及潮濕環(huán)境影響。另一方面，如果不與其他傳感器配合使用，攝像頭在夜晚就顯得捉襟見(jiàn)肘了。
針對(duì)感知層的現(xiàn)狀，Lance Williams表示：“傳感器融合是具潛力的方案，也是迫在眉睫的挑戰(zhàn)。有效地開(kāi)發(fā)和實(shí)施一個(gè)含多傳感器的方案也面臨著許多挑戰(zhàn)。”
具體而言，多傳感器融合就是將多個(gè)傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性。雖然在原理上看似簡(jiǎn)單，但是在自動(dòng)駕駛場(chǎng)景中則顯得充滿挑戰(zhàn)。多傳感器融合，需要對(duì)每個(gè)傳感器采集的信息進(jìn)行快速處理，從而讓高速行駛的汽車(chē)及時(shí)進(jìn)行反饋動(dòng)作，以應(yīng)對(duì)突發(fā)的交通情況。由此可見(jiàn)，多傳感器融合并不僅僅是硬件方面的協(xié)同配合，還包括決策層的算法和算力支持。
為此，安森美半導(dǎo)體在自動(dòng)駕駛感知層覆蓋了所有的傳感器方案，包括超聲波、成像、雷達(dá)、光達(dá)，可支持視覺(jué)、前視先進(jìn)駕駛輔助系統(tǒng)(ADAS)、車(chē)道偏離警告、自適應(yīng)巡航控制、乘員檢測(cè)、電子車(chē)鏡、駕駛員監(jiān)控和手勢(shì)識(shí)別。在決策層方面，還是關(guān)鍵廠商如Mobileye、NVIDIA和英特爾的主要供應(yīng)商。
展開(kāi) 自動(dòng)駕駛汽車(chē)中的激光雷達(dá)和攝像頭傳感器融合
來(lái)源 | 汽車(chē)電子與軟件
傳感器融合是自動(dòng)駕駛汽車(chē)的關(guān)鍵技術(shù)之一。這是自動(dòng)駕駛汽車(chē)工程師都必須具備的技能。原因很簡(jiǎn)單：感知無(wú)處不在，無(wú)時(shí)無(wú)刻不在使用。
自動(dòng)駕駛汽車(chē)通過(guò)4個(gè)關(guān)鍵技術(shù)工作：感知、定位、規(guī)劃和控制。
傳感器融合是感知模塊的一部分。我們希望融合來(lái)自視覺(jué)傳感器的數(shù)據(jù)，以增加冗余、確定性或利用多個(gè)傳感器的優(yōu)勢(shì)。
傳感器數(shù)據(jù)和融合
在感知步驟中，使用激光雷達(dá)、雷達(dá)和攝像頭的組合來(lái)理解環(huán)境是很常見(jiàn)的。這3個(gè)傳感器各有優(yōu)缺點(diǎn)，使用它們可以幫助您擁有所有優(yōu)點(diǎn)。
如上圖所示：
攝像頭擅長(zhǎng)處理對(duì)象分類(lèi)及理解場(chǎng)景。
作為一種飛行時(shí)間傳感器，激光雷達(dá)非常適合估計(jì)距離。
雷達(dá)可以直接測(cè)量障礙物的速度。
在本文中，我們將學(xué)習(xí)融合激光雷達(dá)和攝像頭，從而利用攝像頭的分辨率、理解上下文和對(duì)物體進(jìn)行分類(lèi)的能力以及激光雷達(dá)技術(shù)來(lái)估計(jì)距離并查看3D世界。
攝像頭：2d傳感器
相機(jī)是一種眾所周知的傳感器，用于輸出邊界框、車(chē)道線位置、交通燈顏色、交通標(biāo)志和許多其他東西。在任何自動(dòng)駕駛汽車(chē)中，攝像頭從來(lái)都不是問(wèn)題。
如何使用這種2D傳感器，并將其與3D傳感器（如：激光雷達(dá)）一起應(yīng)用于3D世界？
激光雷達(dá)：3d傳感器
激光雷達(dá)代表光檢測(cè)和測(cè)距。它是一個(gè)3D傳感器，輸出一組點(diǎn)云；每個(gè)都有一個(gè)(X,Y,Z)坐標(biāo)。可以在3D數(shù)據(jù)上執(zhí)行許多應(yīng)用：包括運(yùn)行機(jī)器學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)。
展開(kāi) 