自動駕駛系統(tǒng)傳感器的案例
干貨｜自動駕駛系統(tǒng)中感知傳感器實物仿真測試環(huán)境構(gòu)建
隨著智能駕駛技術(shù)的普遍應(yīng)用，智能駕駛相關(guān)的測試測量方法也隨之發(fā)展。特別是模擬仿真測試領(lǐng)域，在智能駕駛產(chǎn)品開發(fā)過程中的應(yīng)用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統(tǒng)（ADAS），都是依靠高精度攝像頭、毫米波雷達(dá)、激光雷達(dá)等感知傳感器對車輛周邊環(huán)境進(jìn)行感知識別來實現(xiàn)的。那么在自動駕駛系統(tǒng)模擬仿真測試實施過程中，系統(tǒng)中感知傳感器是如何進(jìn)行實物仿真測試驗證的呢。
本文對自動駕駛系統(tǒng)中感知傳感器實物仿真測試環(huán)境構(gòu)建的原理及其相關(guān)方案進(jìn)行介紹。
■ 視覺攝像頭的實物仿真環(huán)境構(gòu)建
視覺攝像頭是感光傳感器，光線通過攝像頭光學(xué)模組，映射到光學(xué)模組后面的感光芯片上，芯片將光信號轉(zhuǎn)換成電信號，這些電信號經(jīng)過濾波、編碼等信號處理步驟，最終形成攝像頭模組的數(shù)字視頻信號。視頻數(shù)據(jù)通過數(shù)字視頻接口，傳輸給攝像頭主控制板。攝像頭主控板集成了主處理器、圖像處理單元和攝像頭電源模塊等電路單元，其中主處理器基于人工智能（AI）和圖像處理技術(shù)，圖像處理單元對拍攝圖像進(jìn)行實時的解析。數(shù)據(jù)經(jīng)過處理后，車輛前方的車輛、行人以及障礙物被識別出來。
放置在駕駛室內(nèi)部的自動駕駛系統(tǒng)視覺前向攝像頭，朝著車輛行駛方向。前向攝像頭透過風(fēng)擋玻璃對車輛前方的環(huán)境進(jìn)行拍攝，前向視覺攝像頭可以識別取景范圍內(nèi)的車輛、行人、車道線、交通信號燈、交通道路標(biāo)志等目標(biāo)。
圖1 視覺攝像頭識別車輛前方場景圖（圖片來源：車元素）
基于上述攝像頭圖像采集和目標(biāo)處理的原理，針對視覺攝像頭的場景目標(biāo)模擬仿真可以采用視覺場景再現(xiàn)的方式進(jìn)行實現(xiàn)。最簡單便利的方式是利用投影的方式，對提前錄制好的視覺場景視頻進(jìn)行播放，視覺攝像頭可以非常輕易的采集到模擬場景中目標(biāo)，從而完成對攝像頭目標(biāo)的模擬。
用于攝像頭目標(biāo)模擬的投影系統(tǒng)，一般由投影儀、幕布及支架組成。
展開 技術(shù)探秘 | 自動駕駛汽車傳感器融合系統(tǒng)，及多傳感器數(shù)據(jù)融合算法淺析
自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上是依靠傳感器來實現(xiàn)的。重要的不僅僅是傳感器的數(shù)量或種類，它們的使用方式也同樣重要。目前，大多數(shù)路面上行駛車輛內(nèi)的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現(xiàn)自動駕駛的關(guān)鍵。
現(xiàn)在路面上的很多汽車，甚至是展廳內(nèi)的很多新車，內(nèi)部都配備有基于攝像頭、雷達(dá)、超聲波或LIDAR等不同傳感器的先進(jìn)駕駛員輔助系統(tǒng)（ADAS）。
這些系統(tǒng)的數(shù)量將會隨著新法案的通過而不斷增加，例如在美國，就有強(qiáng)制要求安裝后視攝像頭的法案。此外，諸如車險打折優(yōu)惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協(xié)會（Euro-NCAP）等機(jī)構(gòu)做出的汽車安全評級正在使某些系統(tǒng)成為汽車的強(qiáng)制功能；另一方面，這也助長了消費者對它們的需求。
諸如自動泊車、公路巡航控制和自動緊急制動的自動駕駛汽車功能也在很大程度上依靠傳感器來實現(xiàn)。重要的不僅僅是傳感器的數(shù)量或種類，它們的使用方式也同樣重要。目前，大多數(shù)路面上行駛車輛內(nèi)的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進(jìn)的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環(huán)視系統(tǒng)、雷達(dá)和前方攝像頭都有它們各自的用途。通過將這些獨立的系統(tǒng)添加到車輛當(dāng)中，可以為駕駛員提供更多信息，并且實現(xiàn)自動駕駛功能。不過，你還可以突破限制，實現(xiàn)更多功能——參見圖1。
圖1：ADAS以汽車內(nèi)單個、獨立的功能存在。
傳感器融合
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內(nèi)的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達(dá)缺少目前成像傳感器所具有的高分辨率。
展開 自動駕駛系統(tǒng)的傳感器標(biāo)定方法
來源 | 自動駕駛之心、計算機(jī)視覺life
導(dǎo)讀：傳感器標(biāo)定是自動駕駛的基本需求，一個車上裝了多個/多種傳感器，而它們之間的坐標(biāo)關(guān)系是需要確定的。灣區(qū)自動駕駛創(chuàng)業(yè)公司ZooX的co-founder和CTO是Sebastia Thrun的學(xué)生Jesse Levinson，他的博士論文就是傳感器標(biāo)定。
這個工作可分成兩部分：內(nèi)參標(biāo)定和外參標(biāo)定，內(nèi)參是決定傳感器內(nèi)部的映射關(guān)系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數(shù)），而外參是決定傳感器和外部某個坐標(biāo)系的轉(zhuǎn)換關(guān)系，比如姿態(tài)參數(shù)（旋轉(zhuǎn)和平移6自由度）。
攝像頭的標(biāo)定曾經(jīng)是計算機(jī)視覺中3-D重建的前提，張正友老師著名的的Zhang氏標(biāo)定法，利用Absolute Conic不變性得到的平面標(biāo)定算法簡化了控制場。
這里重點是，討論不同傳感器之間的外參標(biāo)定，特別是激光雷達(dá)和攝像頭之間的標(biāo)定。
另外在自動駕駛研發(fā)中，GPS/IMU和攝像頭或者激光雷達(dá)的標(biāo)定，雷達(dá)和攝像頭之間的標(biāo)定也是常見的。不同傳感器之間標(biāo)定最大的問題是如何衡量最佳，因為獲取的數(shù)據(jù)類型不一樣：
攝像頭是RGB圖像的像素陣列；
激光雷達(dá)是3-D點云距離信息（有可能帶反射值的灰度值）；
GPS-IMU給的是車身位置姿態(tài)信息；
雷達(dá)是2-D反射圖。
這樣的話，實現(xiàn)標(biāo)定誤差最小化的目標(biāo)函數(shù)會因為不同傳感器配對而不同。
另外，標(biāo)定方法分targetless和target兩種，前者在自然環(huán)境中進(jìn)行，約束條件少，不需要用專門的target；后者則需要專門的控制場，有g(shù)round truth的target，比如典型的棋盤格平面板。
這里僅限于targetless方法的討論，依次給出標(biāo)定的若干算法。
展開 自動駕駛傳感器的選擇與布置
國內(nèi)主要高階自動駕駛車型傳感器方案
設(shè)計仿真 | 基于VTD的多物理傳感器自動駕駛系統(tǒng)仿真方案
隨著自動駕駛算法等級的不斷提高，各開發(fā)商的傳感器布置方案也越來越豐富，最典型的為多V、多R及多L的方案。而在對多種類，多數(shù)量的傳感器進(jìn)行物理模型仿真時，會占用大量的計算資源和網(wǎng)絡(luò)通訊資源，同時仿真的效果還受到PCIe總線帶寬及顯卡的接口數(shù)量限制。
基于VTD的多物理傳感器自動駕駛系統(tǒng)仿真方案，采用VTD的主從機(jī)布置方式，將VTD軟件安裝在主機(jī)Master上，從機(jī)slave上只安裝運行VTD所需要的依賴，主機(jī)以mount的方式將仿真軟件映射在從機(jī)Slave相應(yīng)的位置。在主機(jī)中配置各類型傳感器運行的顯卡平臺，仿真開始時，主機(jī)以ssh的方式將傳感器的計算任務(wù)下發(fā)到從機(jī)Slave的顯卡，以調(diào)用從機(jī)Slave的計算資源，達(dá)到仿真對速度的要求。各個計算機(jī)的顯卡將計算完成的數(shù)據(jù)，分別通過HDMI和以太網(wǎng)的數(shù)據(jù)，發(fā)送到視頻注入板(FPGA)或直接發(fā)送給被測系統(tǒng)SUT。從而在感知層實現(xiàn)全鏈路仿真。該系統(tǒng)可以滿足用戶：
01
同時進(jìn)行多路視頻數(shù)據(jù)的感知算法驗證；
02
同時進(jìn)行多路激光雷達(dá)點云數(shù)據(jù)的仿真驗證；
03
同時進(jìn)行多路毫米波雷達(dá)點云數(shù)據(jù)的仿真驗證；
04
可進(jìn)行多V多R和多L的物理模型仿真驗證；
05
可進(jìn)行行泊一體的算法仿真驗證。
VTD方案優(yōu)勢
支持主從機(jī)的布置方式，合理分配計算資源；
主從機(jī)采用同一套仿真軟件，降低軟件成本；
根據(jù)顯卡的種類(圖形卡/計算卡)合理分配計算任務(wù)；
從機(jī)數(shù)量可擴(kuò)展。
展開 案例分享 | 寶馬集團(tuán)用 VIRES VTD 生成并驗證自動駕駛系統(tǒng)的傳感器模型
簡介
近年來，隨著傳感器技術(shù)和數(shù)據(jù)處理算法的不斷發(fā)展，自動駕駛系統(tǒng)已經(jīng)取得了長足的進(jìn)步，使車輛駕駛員和乘員的安全性及舒適性得以不斷改善。但由于自動駕駛極其復(fù)雜，因此主要挑戰(zhàn)之一仍然是確保并驗證自動駕駛系統(tǒng)在公共場所使用時的安全行為。
虛擬世界提供了一個適當(dāng)、安全且可控的環(huán)境，可以處理所要求的測試和驗證工作的重要部分。正確選擇場景并生成緊密貼合現(xiàn)實的虛擬傳感器數(shù)據(jù)，是虛擬開發(fā)方式得以成功的核心要求之一。虛擬傳感器數(shù)據(jù)由傳感器模型生成，而該模型則構(gòu)成了虛擬環(huán)境感知的核心組成部分（圖 1）。上述感知數(shù)據(jù)是自動駕駛系統(tǒng)決策算法的主要輸入流之一。因此，傳感器模型的保真度是確保虛擬開發(fā)及測試可行性和有效性的決定性因素。
圖 1.VIRES VTD 環(huán)境中的虛擬傳感器模型
通常有兩種類型的傳感器模型：
理想傳感器，一方面可以基于場景直接生成目標(biāo)信息列表，作為決策的激勵輸入，另一方面可以復(fù)現(xiàn)車輛傳感器在進(jìn)行測量和感知時的誤差統(tǒng)計特征，即感知值與真實值之間的偏差。
另一類傳感器測量模型基于對測量過程的物理描述，并且會以虛擬場景為基礎(chǔ)生成低級測量數(shù)據(jù)。這種類型的模型通常用于機(jī)器人研究中的各種傳感器，而用于汽車傳感器的測量模型還是新鮮事物。
在本文中，我們將介紹用于汽車激光雷達(dá)傳感器的傳感器測量模型。該激光雷達(dá)模型基于光線跟蹤法對測量過程進(jìn)行仿真。這樣就可以在仿真環(huán)境內(nèi)實時生成激光雷達(dá)點云。
展開 自動駕駛傳感器創(chuàng)新的困境
高階自動駕駛的量產(chǎn)落地需要一個技術(shù)體系的進(jìn)步，感知、決策、控制，每一個環(huán)節(jié)的軟硬件都需要持續(xù)不斷創(chuàng)新，其中自動駕駛車輛的感知能力是后兩者能夠安全、準(zhǔn)確實現(xiàn)的基礎(chǔ)。
因此，我們可以看到智能電動汽車關(guān)于感知傳感器的裝載，也在不斷增加和技術(shù)迭代。
從傳感器的形態(tài)和功能維度來看，可以分為幾個階段：
第一階段：以超聲波雷達(dá)為主的燃油車時代；
第二階段：以超聲波和毫米波雷達(dá)為主的高配置燃油車時代；
第三階段：超聲波、毫米波、攝像頭為主，實現(xiàn)的 L2/L2.5 級別輔助駕駛的智能電動車；
第四階段：在上述基礎(chǔ)上加入激光雷達(dá)，實現(xiàn)包含城市等更高級別的自動駕駛。
隨著高級別自動駕駛對感知傳感器需求的變高，傳感器本身的技術(shù)迭代和技術(shù)創(chuàng)新也在加速。
硬件競爭短期不會結(jié)束
在科技產(chǎn)品中硬件往往是基礎(chǔ)，為實現(xiàn)一些系統(tǒng)性的功能而存在的，在整個自動駕駛系統(tǒng)中「感知傳感器」就像是眼睛，讓車輛能夠豐富而更加精準(zhǔn)的感知真實的環(huán)境。
從目前的技術(shù)路徑來看，除了特斯拉堅持純視覺感知以外，其他所有廠商都是走感知融合路線，也就是「視覺 + 雷達(dá)」方案，這樣的傳感器配置可以彌補(bǔ)單一傳感器之間的不足，以及無法達(dá)到安全冗余的需求。
如果我們把自動駕駛整個大系統(tǒng)拆分來看，感知本身就是一套小系統(tǒng)存在，它的組成包括：物理硬件、軟件算法、芯片。這三者之間的關(guān)系是，硬件識別到的數(shù)據(jù)，由感知算法解析，解析標(biāo)定之后提交有用數(shù)據(jù)與其他傳感器數(shù)據(jù)比對，通過整個自動駕駛計算平臺計算得到答案后交給決策機(jī)構(gòu)。
展開 關(guān)于對自動駕駛傳感器的理解
來源 | 汽車ECU開發(fā)
知圈 | 進(jìn)“域控制器群”請加微13636581676,備注域
自動駕駛集環(huán)境感知、規(guī)劃決策、運動控制、多級輔助駕駛等功能于一體，運用現(xiàn)代傳感器技術(shù)，集中使用視覺計算、通用計算、神經(jīng)網(wǎng)絡(luò)計算于一體進(jìn)行信息融合、同時輔以V2X通訊、人工智能來實現(xiàn)自動控制。自動駕駛的關(guān)鍵技術(shù)依次可以分為環(huán)境感知、行為決策、路徑規(guī)劃和運動控制四大部分。
環(huán)境感知是通過傳感器對周圍環(huán)境基本信息進(jìn)行采集，也是自動駕駛的基礎(chǔ)。根據(jù)自動駕駛路線的不同，實現(xiàn)的自動駕駛等級不同，部署的傳感器種類也會有差異。下面來梳理一下各傳感器的原理以及優(yōu)缺點。
01 攝像頭
攝像頭一般由鏡頭(Lens)，圖像傳感器(ImageSensor)，圖像信號處理器(ImageSignal Processor, ISP)，串行器發(fā)送(Serializer)組成。一般步驟是，鏡頭采集到物體的基本信息然后由Image Sensor進(jìn)行一定處理后再交于ISP處理之后串行化傳輸。傳輸方式同樣可分為在同軸電纜或雙絞線上基于LVDS傳輸或者直接通過以太網(wǎng)傳輸。
對于布置來說，主要是視角對感知范圍的影響。在攝像頭感光元件大小確定的情況下，焦距越長，對應(yīng)的視角越窄。但對應(yīng)的分辨率也能大大提高——即看的清，但看的東西少。
因此在實際使用時利用不同焦距的攝像頭，來實現(xiàn)不同特定的功能，通常在L2級別以上基本會配置中程及長程攝像頭。高檔車輛會采用3前視攝像頭的配置。來做到全視野的信息采集。
展開 傳感器融合-數(shù)據(jù)篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務(wù)層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達(dá)和毫米波雷達(dá)之間，因為毫米波雷達(dá)的目標(biāo)分辨率很低（無法確定目標(biāo)大小和輪廓），但可以在高層上探索融合，比如目標(biāo)速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達(dá)和攝像頭的數(shù)據(jù)融合，實際是激光雷達(dá)點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進(jìn)行結(jié)合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達(dá)的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達(dá)到2K-4K）；另一邊兒激光雷達(dá)成本高，分辨率低，深度探測距離短。可是，激光雷達(dá)點云測距精確度非常高，測距遠(yuǎn)遠(yuǎn)大于那些Infrared/TOF depth sensor，對室外環(huán)境的抗干擾能力也強(qiáng)，同時圖像作為被動視覺系統(tǒng)的主要傳感器，深度估計精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達(dá)的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結(jié)合，形成互補(bǔ)？
展開 自動駕駛傳感器融合：激光雷達(dá)+攝像頭
前言
自動駕駛感知技術(shù)所采用的傳感器主要包括攝像頭，激光雷達(dá)和毫米波雷達(dá)。這些傳感器各有優(yōu)缺點，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務(wù)中融合激光雷達(dá)和攝像頭，重點是目前主流的基于深度學(xué)習(xí)的融合算法。
攝像頭產(chǎn)生的數(shù)據(jù)是2D圖像，對于物體的形狀和類別的感知精度較高。深度學(xué)習(xí)技術(shù)的成功起源于計算機(jī)視覺任務(wù)，很多成功的算法也是基于對圖像數(shù)據(jù)的處理，因此目前基于圖像的感知技術(shù)已經(jīng)相對成熟。圖像數(shù)據(jù)的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統(tǒng)來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統(tǒng)可以解決深度信息獲取的問題，但是計算量很大。激光雷達(dá)在一定程度上彌補(bǔ)了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規(guī)要求難以滿足，因此在量產(chǎn)方面比較困難。同時，激光雷達(dá)生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠(yuǎn)距離物體或者小物體來說，反射點的數(shù)量會非常少。
如下圖所示，圖像數(shù)據(jù)和點云存在著巨大的差別。首先是視角不同，圖像數(shù)據(jù)是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標(biāo)系中的三維信息，可以投影到多種視圖。其次是數(shù)據(jù)結(jié)構(gòu)不同，圖像數(shù)據(jù)是規(guī)則的，有序的，稠密的，而點云數(shù)據(jù)是不規(guī)則的，無序的，稀疏的。在空間分辨率方面，圖像數(shù)據(jù)也比點云數(shù)據(jù)高很多。
圖片來源于參考文獻(xiàn)[1]
自動駕駛感知系統(tǒng)中有兩個典型的任務(wù)：物體檢測和語義分割。深度學(xué)習(xí)技術(shù)的興起首先來自視覺領(lǐng)域，基于圖像數(shù)據(jù)的物體檢測和語義分割已經(jīng)被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開 自動駕駛多模態(tài)傳感器融合的綜述
域偏差和數(shù)據(jù)分辨率與真實場景和傳感器高相關(guān)。這些缺陷阻礙了自動駕駛深度學(xué)習(xí)模型的大規(guī)模訓(xùn)練和實施。
域偏差：在自主駕駛感知場景中，由不同傳感器提取的原始數(shù)據(jù)伴隨著域相關(guān)特征。不同的攝像頭系統(tǒng)有其光學(xué)特性，而激光雷達(dá)可能因機(jī)械激光雷達(dá)和固態(tài)激光雷達(dá)而不同。更重要的是，數(shù)據(jù)本身可能是有域偏差的，例如天氣、季節(jié)或地理位置。因此，檢測模型無法順利適應(yīng)新的場景。由于泛化失敗，這些缺陷妨礙大規(guī)模數(shù)據(jù)集的收集和原始訓(xùn)練數(shù)據(jù)可重用性。
分辨率沖突：來自不同模式的傳感器通常具有不同的分辨率。例如，激光雷達(dá)的空域密度明顯低于圖像的空域密度。無論采用何種投影方法，由于無法找到對應(yīng)關(guān)系，一些信息被消除。這可能導(dǎo)致模型被一個特定模態(tài)的數(shù)據(jù)所主導(dǎo)，無論是特征向量的分辨率不同還是原始信息的不平衡。
展開 
高級自動駕駛系統(tǒng)的新型三大感知能力要素分析
作者 |
Aimee
出品 |
焉知
自動駕駛傳感器配置需求隨著汽車智能化和電動化的快速發(fā)展不斷增加。當(dāng)前的傳感器趨向于從探測范圍、探測精度、探測能力上進(jìn)行不斷優(yōu)化以便適應(yīng)更多的邊緣場景。使用更高級能力的傳感器到底能帶來哪些優(yōu)勢，又能解決哪些問題，如何對車身周圍配置的傳感器進(jìn)行最優(yōu)化配置和選擇將是我們必須要面對的問題。
高階自動駕駛系統(tǒng)的傳感器仍然按照當(dāng)前自動駕駛系統(tǒng)一樣，配置了包含毫米波雷達(dá)、攝像頭、激光雷達(dá)、超聲波雷達(dá)等傳感器配置。然而，在毫米波雷達(dá)、攝像頭、激光雷達(dá)的選擇上卻是增加了幾個臺階。
首先
，是毫米波雷達(dá)采用了4D高精度毫米波雷達(dá)，從分辨率角度得到質(zhì)的飛躍。
其次
是，攝像頭采用了高清攝像頭，其分辨率的巨大提升使得其更加容易探測出更小的目標(biāo)。
最后
，是激光雷達(dá)從原始的機(jī)械式激光雷達(dá)向MEMS甚至Flash激光雷達(dá)的轉(zhuǎn)變。
本文將針對如上三類傳感器的轉(zhuǎn)變詳細(xì)說明其對自動駕駛系統(tǒng)探測能力到底有哪些提升。
4D毫米波雷達(dá)優(yōu)勢
從當(dāng)前已經(jīng)出過得自動駕駛事故（無論是特斯拉的大卡車相撞還是蔚來汽車主裝上高速作業(yè)車）中不難看出，高速自動駕駛最容易出現(xiàn)事故的地方就是在于傳感器對于靜止目標(biāo)的識別上。當(dāng)前，駕駛輔助系統(tǒng)架構(gòu)常采用攝像頭融合毫米波雷達(dá)的方式進(jìn)行檢測，而對于靜止目標(biāo)的識別主要是依靠攝像頭的視覺檢測，由于視覺感知的目標(biāo)都必須經(jīng)過模塊或算法訓(xùn)練，而數(shù)據(jù)模型中無法涵蓋所有類型目標(biāo)數(shù)據(jù)，且識別過程中通常采用的圖像分割會把靜止目標(biāo)當(dāng)成背景區(qū)域而過濾到，因此，視覺檢測很難做到對目標(biāo)的有效識別。
展開 自動駕駛多傳感器數(shù)據(jù)融合方法
不同傳感器在進(jìn)行同一實驗任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進(jìn)行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達(dá)、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。
大多數(shù)先進(jìn)的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進(jìn)行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進(jìn)行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進(jìn)行概率預(yù)測，實現(xiàn)端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大，對設(shè)備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，并對特征圖進(jìn)行融合操作后輸入到目標(biāo)任務(wù)中進(jìn)行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進(jìn)行融合，并構(gòu)建兩個子網(wǎng)絡(luò)進(jìn)行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實現(xiàn)了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數(shù)據(jù)輸入，能夠有效整合來自不同模態(tài)的深層特征。
展開 自動駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數(shù)據(jù)的過程。該步驟在機(jī)器人技術(shù)中是強(qiáng)制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達(dá)和相機(jī)都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機(jī)會。
如果兩個傳感器都檢測到了行人，傳感器融合技術(shù)將使我們更準(zhǔn)確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進(jìn)行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進(jìn)行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應(yīng)該什么時候進(jìn)行融合？”
文章激光雷達(dá)和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業(yè)界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數(shù)據(jù)
低級別傳感器融合是關(guān)于融合來自多個傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達(dá)的點云數(shù)據(jù)和來自攝像頭的像素級數(shù)據(jù)。
展開 多傳感器融合，叩開自動駕駛大門
2
多傳感器融合成必經(jīng)之路
雖然說自動駕駛在全球范圍內(nèi)已經(jīng)形成風(fēng)潮，并有望在2021年實現(xiàn)4級自動駕駛，但是其想要真正走入現(xiàn)實也并非易事。從技術(shù)方面而言，目前自動駕駛的痛點在于穩(wěn)定可靠的感知及認(rèn)知，包括清晰的視覺、優(yōu)質(zhì)的算法、多傳感器融合以及高效強(qiáng)大的運算能力。其中，多傳感器融合也被認(rèn)為是自動駕駛未來的重要發(fā)展趨勢。
目前用于自動駕駛的傳感器主要有激光雷達(dá)、毫米波雷達(dá)以及攝像頭三類，其各具優(yōu)缺點。激光雷達(dá)具有高精度、高分辨率的優(yōu)勢，然而其易受雨霧等極端天氣影響，且成本居高不下，不利于大規(guī)模量產(chǎn)。雖然毫米波雷達(dá)可解決激光雷達(dá)的部分缺點，但是其探測距離易受元器件功率及潮濕環(huán)境影響。另一方面，如果不與其他傳感器配合使用，攝像頭在夜晚就顯得捉襟見肘了。
針對感知層的現(xiàn)狀，Lance Williams表示：“傳感器融合是具潛力的方案，也是迫在眉睫的挑戰(zhàn)。有效地開發(fā)和實施一個含多傳感器的方案也面臨著許多挑戰(zhàn)。”
具體而言，多傳感器融合就是將多個傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性。雖然在原理上看似簡單，但是在自動駕駛場景中則顯得充滿挑戰(zhàn)。多傳感器融合，需要對每個傳感器采集的信息進(jìn)行快速處理，從而讓高速行駛的汽車及時進(jìn)行反饋動作，以應(yīng)對突發(fā)的交通情況。由此可見，多傳感器融合并不僅僅是硬件方面的協(xié)同配合，還包括決策層的算法和算力支持。
為此，安森美半導(dǎo)體在自動駕駛感知層覆蓋了所有的傳感器方案，包括超聲波、成像、雷達(dá)、光達(dá)，可支持視覺、前視先進(jìn)駕駛輔助系統(tǒng)(ADAS)、車道偏離警告、自適應(yīng)巡航控制、乘員檢測、電子車鏡、駕駛員監(jiān)控和手勢識別。在決策層方面，還是關(guān)鍵廠商如Mobileye、NVIDIA和英特爾的主要供應(yīng)商。
展開 