自動駕駛傳感器融合
關注創(chuàng)建者：匿名 創(chuàng)建時間：2022-01-18
自動駕駛傳感器融合的視頻教程
仿真技術之自動駕駛感知視界-ANSYS傳感器仿真（攝像頭和激光雷達）
ANSYS自動駕駛系列Webinar，結合自動駕駛系統(tǒng)的研發(fā)講述ANSYS工具如何助力自動駕駛的開發(fā)驗證，本期重點為ANSYS自動駕駛解決方案之傳感器仿真（攝像頭和激光雷達）。
免費 1小時24分鐘 423播放
查看
Abaqus利用傳感器及子程序監(jiān)控計算結果并自動終止分析
Abaqus創(chuàng)建傳感器并利用傳感器監(jiān)控分析過程 利用子程序判斷分析結果是否達到閾值，并自動終止分析
￥20 15分鐘 122播放
查看
自動駕駛傳感器融合的實例教程
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經(jīng)成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數(shù)據(jù)融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環(huán)境的抗干擾能力也強，同時圖像作為被動視覺系統(tǒng)的主要傳感器，深度估計精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結合，形成互補？
展開 自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上是依靠傳感器來實現(xiàn)的。重要的不僅僅是傳感器的數(shù)量或種類，它們的使用方式也同樣重要。目前，大多數(shù)路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現(xiàn)自動駕駛的關鍵。
現(xiàn)在路面上的很多汽車，甚至是展廳內的很多新車，內部都配備有基于攝像頭、雷達、超聲波或LIDAR等不同傳感器的先進駕駛員輔助系統(tǒng)（ADAS）。
這些系統(tǒng)的數(shù)量將會隨著新法案的通過而不斷增加，例如在美國，就有強制要求安裝后視攝像頭的法案。此外，諸如車險打折優(yōu)惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協(xié)會（Euro-NCAP）等機構做出的汽車安全評級正在使某些系統(tǒng)成為汽車的強制功能；另一方面，這也助長了消費者對它們的需求。
諸如自動泊車、公路巡航控制和自動緊急制動的自動駕駛汽車功能也在很大程度上依靠傳感器來實現(xiàn)。重要的不僅僅是傳感器的數(shù)量或種類，它們的使用方式也同樣重要。目前，大多數(shù)路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環(huán)視系統(tǒng)、雷達和前方攝像頭都有它們各自的用途。通過將這些獨立的系統(tǒng)添加到車輛當中，可以為駕駛員提供更多信息，并且實現(xiàn)自動駕駛功能。不過，你還可以突破限制，實現(xiàn)更多功能——參見圖1。
圖1：ADAS以汽車內單個、獨立的功能存在。
傳感器融合
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。
展開 來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數(shù)據(jù)的過程。該步驟在機器人技術中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
如果兩個傳感器都檢測到了行人，傳感器融合技術將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應該什么時候進行融合？”
文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業(yè)界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數(shù)據(jù)
低級別傳感器融合是關于融合來自多個傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達的點云數(shù)據(jù)和來自攝像頭的像素級數(shù)據(jù)。
展開 前言
自動駕駛感知技術所采用的傳感器主要包括攝像頭，激光雷達和毫米波雷達。這些傳感器各有優(yōu)缺點，也互為補充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務中融合激光雷達和攝像頭，重點是目前主流的基于深度學習的融合算法。
攝像頭產(chǎn)生的數(shù)據(jù)是2D圖像，對于物體的形狀和類別的感知精度較高。深度學習技術的成功起源于計算機視覺任務，很多成功的算法也是基于對圖像數(shù)據(jù)的處理，因此目前基于圖像的感知技術已經(jīng)相對成熟。圖像數(shù)據(jù)的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統(tǒng)來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統(tǒng)可以解決深度信息獲取的問題，但是計算量很大。激光雷達在一定程度上彌補了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規(guī)要求難以滿足，因此在量產(chǎn)方面比較困難。同時，激光雷達生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠距離物體或者小物體來說，反射點的數(shù)量會非常少。
如下圖所示，圖像數(shù)據(jù)和點云存在著巨大的差別。首先是視角不同，圖像數(shù)據(jù)是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標系中的三維信息，可以投影到多種視圖。其次是數(shù)據(jù)結構不同，圖像數(shù)據(jù)是規(guī)則的，有序的，稠密的，而點云數(shù)據(jù)是不規(guī)則的，無序的，稀疏的。在空間分辨率方面，圖像數(shù)據(jù)也比點云數(shù)據(jù)高很多。
圖片來源于參考文獻[1]
自動駕駛感知系統(tǒng)中有兩個典型的任務：物體檢測和語義分割。深度學習技術的興起首先來自視覺領域，基于圖像數(shù)據(jù)的物體檢測和語義分割已經(jīng)被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開 不同傳感器在進行同一實驗任務時，針對產(chǎn)生的同一現(xiàn)象進行觀測，采集的數(shù)據(jù)構成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補，并在相同學習任務獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構數(shù)據(jù)用于學習許多相互關聯(lián)但復雜的任務，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。
大多數(shù)先進的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網(wǎng)絡進行概率預測，實現(xiàn)端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態(tài)的數(shù)據(jù)進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網(wǎng)絡進行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實現(xiàn)了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數(shù)據(jù)輸入，能夠有效整合來自不同模態(tài)的深層特征。
展開 
自動駕駛傳感器融合的相關專題、標簽、搜索
自動駕駛傳感器融合的最新內容
速轉矩傳感器在各種應用場景中的重要性日益凸顯。這些傳感器不僅能精確測量設備的工作狀態(tài)，還可為系統(tǒng)提供實時的反饋數(shù)據(jù)，從而優(yōu)化生產(chǎn)流程。為了保證不同廠家和系統(tǒng)之間的兼容性，有必要建立一套統(tǒng)一的接口標準和自動識別協(xié)議。
一、接口標準
1、電氣接口
（1）電源：定直流5V或12V供電，波動±5%，明確最大工作電流，如不超50mA。
（2）信號輸出
·
汽車行業(yè)全球合作伙伴Applus+ IDIADA(伊狄達）近日宣布其完成了一項突破性研究-通過對40名本土駕駛員的深度測試，全面解析了L2級自動駕駛系統(tǒng)中的駕駛員參與度密碼。
在此項研究中，IDIADA采用VI-grade動態(tài)駕駛模擬器，充分驗證了自動駕駛系統(tǒng)中駕駛員狀態(tài)監(jiān)測的有效性。該方案不僅展現(xiàn)了VI-grade在人因工程研究領域的技術優(yōu)勢，更為自動駕駛系統(tǒng)的安全性與用戶體驗優(yōu)化提供了重要數(shù)據(jù)支撐
自動駕駛研發(fā)面臨"長尾效應"的終極挑戰(zhàn)：海量邊緣場景需要近乎無限的測試里程。仿真測試雖已成為行業(yè)共識，但其真實度仍存根本性質疑——當多數(shù)平臺仍停留在視覺逼真層面時，感知算法的低階數(shù)據(jù)處理和魯棒性測試已觸及驗證天花板。
其實，真正的物理級仿真必須從數(shù)據(jù)源頭出發(fā)：從光子穿透鏡頭到電信號轉換，從激光能量分布到多回波散射，每一個物理環(huán)節(jié)都會直接影響算法在現(xiàn)實世界中的表現(xiàn)。
基于此，本文將深入解析攝像頭與激光雷達的物理建模機制
01 引言
隨著自動駕駛技術的飛速發(fā)展，仿真測試已成為替代成本高昂且充滿風險的道路測試的關鍵環(huán)節(jié)。它能夠在虛擬環(huán)境中模擬各種復雜的交通場景和極端天氣，極大地加速了自動駕駛系統(tǒng)的開發(fā)與驗證進程。然而，一個常被忽視的問題正悄然侵蝕著仿真測試的可信度——非確定性，即仿真測試過程中因核心引擎或其他因素導致的隨機性。
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件
在長途駕駛過程中，很多車主都曾經(jīng)歷過這樣的困擾：關閉車窗長時間駕駛后，逐漸感到困倦、注意力渙散，甚至出現(xiàn)頭痛等癥狀。傳統(tǒng)認知往往將這些現(xiàn)象簡單歸咎于“車內缺氧”，但真正的元兇其實是不斷累積的二氧化碳（CO2）。相較于室內環(huán)境，車內空間更為狹小密閉，CO2濃度的上升速度更快，對行車安全的影響更為直接。
車內氣體變化及其對人體的影響
1. 氧氣與二氧化碳的正常含量及影響臨界值
具體內容已經(jīng)通過實車測試驗證，支持厘米級空間定位與納秒級時間同步，為自動駕駛算法研發(fā)、傳感器融合驗證提供了可靠的數(shù)據(jù)基石。
在海洋監(jiān)測領域，基于無人艇能夠實現(xiàn)高效、實時、自動化的海洋數(shù)據(jù)采集，從而為海洋環(huán)境保護、資源開發(fā)等提供有力支持。其中，無人艇的控制算法訓練往往需要大量高質量的數(shù)據(jù)支持。然而，海洋數(shù)據(jù)采集也面臨數(shù)據(jù)噪聲和誤差、數(shù)據(jù)融合與協(xié)同和復雜海洋環(huán)境適應等諸多挑戰(zhàn)，制約著無人艇技術的發(fā)展。
針對這些挑戰(zhàn)，我們探索并推出一套基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)，能夠高效地采集和處理海洋環(huán)境中的多維度數(shù)據(jù)，為無人艇的自主航行和控制算法訓練提供高質量的數(shù)據(jù)支持
隨著智駕從L0（預警功能），L2（獨立的橫縱向執(zhí)行功能）到目前L2.9（城市NOA）的快速演變和裝配，車輛對外界的感知需求也在快速增加。
為了讓各類傳感器更精確的感知，在傳感器裝車后，就需要對傳感器進行標定以獲取各個傳感器的安裝位置。具體來說，就是通過標定確定車身坐標系下傳感器的位置。
一、傳感器標定類型
在一輛具備L2+級別智駕車上，常會搭建攝像頭，激光雷達，毫米波雷達，GPS/IMU
在汽車行業(yè)邁向智能化、自動化的今天，自動駕駛技術也在快速發(fā)展。為了進一步讓自動駕駛更加“智能化”，像老師傅一樣進行開車，離不開對車輛周圍環(huán)境的全面認識。
面對復雜的感知任務，單一傳感器的局限性逐漸顯現(xiàn)，比如相機對目標的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標精確的3D信息，但無法獲得目標紋理，易產(chǎn)生噪點等情況。多傳感器數(shù)據(jù)融合技術應時而生，通過整合不同傳感器的優(yōu)勢
<h1><strong>一、導讀</strong></h1><p>對于數(shù)據(jù)的存儲落盤來說，占據(jù)絕大部分存儲空間的數(shù)據(jù)來自于相機傳感器，特別是當前的數(shù)采需求可能需要6-8個800M像素的相機采集，進行RAW數(shù)據(jù)落盤。舉個例子，在以非RAW格式，比如YUV422 8bits，在3840×2160（800M）分辨率下以30fps進行拍攝：3840 × 2160 ×&
