自動駕駛傳感器融合的案例
傳感器融合-數據篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產品），也可以是數據層（這里的討論范圍），還可以是任務層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數據融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環境的抗干擾能力也強，同時圖像作為被動視覺系統的主要傳感器，深度估計精度差，更麻煩的是穩定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數據和致密的圖像深度數據結合，形成互補？
展開 技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上是依靠傳感器來實現的。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現自動駕駛的關鍵。
現在路面上的很多汽車，甚至是展廳內的很多新車，內部都配備有基于攝像頭、雷達、超聲波或LIDAR等不同傳感器的先進駕駛員輔助系統（ADAS）。
這些系統的數量將會隨著新法案的通過而不斷增加，例如在美國，就有強制要求安裝后視攝像頭的法案。此外，諸如車險打折優惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協會（Euro-NCAP）等機構做出的汽車安全評級正在使某些系統成為汽車的強制功能；另一方面，這也助長了消費者對它們的需求。
諸如自動泊車、公路巡航控制和自動緊急制動的自動駕駛汽車功能也在很大程度上依靠傳感器來實現。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環視系統、雷達和前方攝像頭都有它們各自的用途。通過將這些獨立的系統添加到車輛當中，可以為駕駛員提供更多信息，并且實現自動駕駛功能。不過，你還可以突破限制，實現更多功能——參見圖1。
圖1：ADAS以汽車內單個、獨立的功能存在。
傳感器融合
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。
展開 自動駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數據的過程。該步驟在機器人技術中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
如果兩個傳感器都檢測到了行人，傳感器融合技術將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數據，或者叫做數據融合。有9種方法可以構建數據融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應該什么時候進行融合？”
文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數據
低級別傳感器融合是關于融合來自多個傳感器的原始數據。例如，融合來自激光雷達的點云數據和來自攝像頭的像素級數據。
展開 自動駕駛傳感器融合：激光雷達+攝像頭
前言
自動駕駛感知技術所采用的傳感器主要包括攝像頭，激光雷達和毫米波雷達。這些傳感器各有優缺點，也互為補充，因此如何高效的融合多傳感器數據，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務中融合激光雷達和攝像頭，重點是目前主流的基于深度學習的融合算法。
攝像頭產生的數據是2D圖像，對于物體的形狀和類別的感知精度較高。深度學習技術的成功起源于計算機視覺任務，很多成功的算法也是基于對圖像數據的處理，因此目前基于圖像的感知技術已經相對成熟。圖像數據的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統可以解決深度信息獲取的問題，但是計算量很大。激光雷達在一定程度上彌補了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規要求難以滿足，因此在量產方面比較困難。同時，激光雷達生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠距離物體或者小物體來說，反射點的數量會非常少。
如下圖所示，圖像數據和點云存在著巨大的差別。首先是視角不同，圖像數據是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標系中的三維信息，可以投影到多種視圖。其次是數據結構不同，圖像數據是規則的，有序的，稠密的，而點云數據是不規則的，無序的，稀疏的。在空間分辨率方面，圖像數據也比點云數據高很多。
圖片來源于參考文獻[1]
自動駕駛感知系統中有兩個典型的任務：物體檢測和語義分割。深度學習技術的興起首先來自視覺領域，基于圖像數據的物體檢測和語義分割已經被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開 
自動駕駛多傳感器數據融合方法
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數據輸入，能夠有效整合來自不同模態的深層特征。
展開 自動駕駛多模態傳感器融合的綜述
多模態融合是感知自動駕駛系統的一項基本任務，最近引起了許多研究人員的興趣。然而，由于原始數據噪聲大、信息利用率低以及多模態傳感器的無對準，達到相當好的性能并非易事。
本文對現有的基于多模態自動駕駛感知任務方法進行了文獻綜述。
分析超過50篇論文，包括攝像頭和激光雷達，試圖解決目標檢測和語義分割任務。與傳統的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當前的融合方法，就潛在的研究機會展開討論。
最近，用于自動駕駛感知任務的多模態融合方法發展迅速，其從跨模態特征表示和更可靠的模態傳感器，到更復雜、更穩健的多模態融合深度學習模型和技術。然而，只有少數文獻綜述集中在多模態融合方法本身的方法論上，大多數文獻都遵循傳統規則，將其分為前融合、深度（特征）融合和后融合三大類，重點關注深度學習模型中融合特征的階段，無論是數據級、特征級還是提議級。首先，這種分類法沒有明確定義每個級別的特征表示。其次，它表明，激光雷達和攝像頭這兩個分支在處理過程中始終是對稱的，模糊了激光雷達分支中融合提議級特征和攝像頭分支中融合數據級特征的情況。綜上所述，傳統的分類法可能是直觀的，但對于總結最近出現的越來越多的多模態融合方法來說卻很落后，這使得研究人員無法從系統的角度對其進行研究和分析。
如圖是自動駕駛感知任務的示意圖：
深度學習模型僅限于輸入的表示。為了實現該模型，需要在數據輸入模型之前，通過一個復雜的特征提取器對原始數據進行預處理。
至于圖像分支，大多數現有方法保持與下游模塊輸入的原始數據相同的格式。然而，激光雷達分支高度依賴于數據格式，這種格式強調不同的特性，并對下游模型設計產生巨大影響。
展開 多傳感器融合，叩開自動駕駛大門
2
多傳感器融合成必經之路
雖然說自動駕駛在全球范圍內已經形成風潮，并有望在2021年實現4級自動駕駛，但是其想要真正走入現實也并非易事。從技術方面而言，目前自動駕駛的痛點在于穩定可靠的感知及認知，包括清晰的視覺、優質的算法、多傳感器融合以及高效強大的運算能力。其中，多傳感器融合也被認為是自動駕駛未來的重要發展趨勢。
目前用于自動駕駛的傳感器主要有激光雷達、毫米波雷達以及攝像頭三類，其各具優缺點。激光雷達具有高精度、高分辨率的優勢，然而其易受雨霧等極端天氣影響，且成本居高不下，不利于大規模量產。雖然毫米波雷達可解決激光雷達的部分缺點，但是其探測距離易受元器件功率及潮濕環境影響。另一方面，如果不與其他傳感器配合使用，攝像頭在夜晚就顯得捉襟見肘了。
針對感知層的現狀，Lance Williams表示：“傳感器融合是具潛力的方案，也是迫在眉睫的挑戰。有效地開發和實施一個含多傳感器的方案也面臨著許多挑戰。”
具體而言，多傳感器融合就是將多個傳感器獲取的數據、信息集中在一起綜合分析以便更加準確可靠地描述外界環境，從而提高系統決策的正確性。雖然在原理上看似簡單，但是在自動駕駛場景中則顯得充滿挑戰。多傳感器融合，需要對每個傳感器采集的信息進行快速處理，從而讓高速行駛的汽車及時進行反饋動作，以應對突發的交通情況。由此可見，多傳感器融合并不僅僅是硬件方面的協同配合，還包括決策層的算法和算力支持。
為此，安森美半導體在自動駕駛感知層覆蓋了所有的傳感器方案，包括超聲波、成像、雷達、光達，可支持視覺、前視先進駕駛輔助系統(ADAS)、車道偏離警告、自適應巡航控制、乘員檢測、電子車鏡、駕駛員監控和手勢識別。在決策層方面，還是關鍵廠商如Mobileye、NVIDIA和英特爾的主要供應商。
展開 自動駕駛汽車中的激光雷達和攝像頭傳感器融合
來源 | 汽車電子與軟件
傳感器融合是自動駕駛汽車的關鍵技術之一。這是自動駕駛汽車工程師都必須具備的技能。原因很簡單：感知無處不在，無時無刻不在使用。
自動駕駛汽車通過4個關鍵技術工作：感知、定位、規劃和控制。
傳感器融合是感知模塊的一部分。我們希望融合來自視覺傳感器的數據，以增加冗余、確定性或利用多個傳感器的優勢。
傳感器數據和融合
在感知步驟中，使用激光雷達、雷達和攝像頭的組合來理解環境是很常見的。這3個傳感器各有優缺點，使用它們可以幫助您擁有所有優點。
如上圖所示：
攝像頭擅長處理對象分類及理解場景。
作為一種飛行時間傳感器，激光雷達非常適合估計距離。
雷達可以直接測量障礙物的速度。
在本文中，我們將學習融合激光雷達和攝像頭，從而利用攝像頭的分辨率、理解上下文和對物體進行分類的能力以及激光雷達技術來估計距離并查看3D世界。
攝像頭：2d傳感器
相機是一種眾所周知的傳感器，用于輸出邊界框、車道線位置、交通燈顏色、交通標志和許多其他東西。在任何自動駕駛汽車中，攝像頭從來都不是問題。
如何使用這種2D傳感器，并將其與3D傳感器（如：激光雷達）一起應用于3D世界？
激光雷達：3d傳感器
激光雷達代表光檢測和測距。它是一個3D傳感器，輸出一組點云；每個都有一個(X,Y,Z)坐標。可以在3D數據上執行許多應用：包括運行機器學習模型和神經網絡。
展開 安森美半導體談自動駕駛，傳感器融合是關鍵
安森美半導體作為全球第七大汽車半導體廠商，第二大非微控制器供應商，第一大汽車圖像傳感器企業在汽車行業深耕50余年。歷經半個世紀的發展，安森美半導體在汽車電子領域的成績如何，又何以在競爭日益激烈的汽車電子博弈中致勝？
目前，安森美主攻汽車電子、工業、通信、消費和計算市場，其中，在安森美的整個行業體系中，汽車電子占終端市場收入的三分之一。安森美半導體中國區銷售副總裁謝鴻裕表示：“伴隨著汽車電子智能化以及新能源汽車逐年增長的趨勢，使得電子器件在汽車中占比越來越大。”
汽車半導體含量
汽車傳感器采用情況
汽車競爭越來越激烈，汽車電子智能化已成為全球汽車產業技術領域的發展重點和產業戰略的增長點。汽車電子技術在不斷發展，同時技術內涵也變得越來越豐富。安森美半導體以其完備的集成制造規模、全面而廣泛的產品陣容以及新技術來打造領先行業的成本結構，致力于為客戶提供高度差異化的電源管理、模擬以及傳感器產品。
安森美半導體高級總監官世明為我們詳細介紹了其公司重點關注的汽車電子方向以及產品組合。官世明表示：“電源管理、動力總成、車載網絡、車身及內部應用、照明、自動駕駛等領域安森美都有相關的產品以及解決方案供給給用戶。公司通過先進的封裝技術、半導體設計和制造能力以及定制的封裝設計和方案，為客戶提供特定的增值方案。”
安森美半導體的CMOS傳感器采用領先業界的工藝和技術設計，提供最佳的圖像清晰度用于典型具有挑戰性的汽車應用環境。在本次交流會中，謝鴻裕與我們分享了圖像傳感器的發展方向，他認為圖像傳感器在未來需要更高的圖像采集清晰度，需要提升HDR性能，同時要重視傳感器的安全系統。
展開 蔚來公布自動駕駛進展：放棄純視覺路線，做多傳感器融合
（我覺得說的就是特斯拉）
其實不光是傳感器與芯片，還需要考慮冗余與備份。一個轉向器壞了，剎車壞了怎么板？蔚來需要完整設計這個體系。
與特斯拉基于攝像頭的感知是不同，蔚來依靠多傳感器融合，選擇跳過 L3 選擇直接 L4，提高自動駕駛的研發進程。
總結
蔚來以前的目標是做”中國的特斯拉”，然而特斯拉卻偏偏進入了中國，蔚來跟自己的模仿對象競爭，技術功能上至少落后2年，而且價格也并不占任何優勢。用戶花了很高的價錢，買了一臺裝滿傳感器的ES8智能車，然而該平臺可能最終無法升級到想要的L4功能，蔚來汽車自動駕駛的未來并不明朗。
展開 自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
文章來源：自動駕駛干貨鋪
自動駕駛傳感器創新的困境
高階自動駕駛的量產落地需要一個技術體系的進步，感知、決策、控制，每一個環節的軟硬件都需要持續不斷創新，其中自動駕駛車輛的感知能力是后兩者能夠安全、準確實現的基礎。
因此，我們可以看到智能電動汽車關于感知傳感器的裝載，也在不斷增加和技術迭代。
從傳感器的形態和功能維度來看，可以分為幾個階段：
第一階段：以超聲波雷達為主的燃油車時代；
第二階段：以超聲波和毫米波雷達為主的高配置燃油車時代；
第三階段：超聲波、毫米波、攝像頭為主，實現的 L2/L2.5 級別輔助駕駛的智能電動車；
第四階段：在上述基礎上加入激光雷達，實現包含城市等更高級別的自動駕駛。
隨著高級別自動駕駛對感知傳感器需求的變高，傳感器本身的技術迭代和技術創新也在加速。
硬件競爭短期不會結束
在科技產品中硬件往往是基礎，為實現一些系統性的功能而存在的，在整個自動駕駛系統中「感知傳感器」就像是眼睛，讓車輛能夠豐富而更加精準的感知真實的環境。
從目前的技術路徑來看，除了特斯拉堅持純視覺感知以外，其他所有廠商都是走感知融合路線，也就是「視覺 + 雷達」方案，這樣的傳感器配置可以彌補單一傳感器之間的不足，以及無法達到安全冗余的需求。
如果我們把自動駕駛整個大系統拆分來看，感知本身就是一套小系統存在，它的組成包括：物理硬件、軟件算法、芯片。這三者之間的關系是，硬件識別到的數據，由感知算法解析，解析標定之后提交有用數據與其他傳感器數據比對，通過整個自動駕駛計算平臺計算得到答案后交給決策機構。
展開 關于對自動駕駛傳感器的理解
來源 | 汽車ECU開發
知圈 | 進“域控制器群”請加微13636581676,備注域
自動駕駛集環境感知、規劃決策、運動控制、多級輔助駕駛等功能于一體，運用現代傳感器技術，集中使用視覺計算、通用計算、神經網絡計算于一體進行信息融合、同時輔以V2X通訊、人工智能來實現自動控制。自動駕駛的關鍵技術依次可以分為環境感知、行為決策、路徑規劃和運動控制四大部分。
環境感知是通過傳感器對周圍環境基本信息進行采集，也是自動駕駛的基礎。根據自動駕駛路線的不同，實現的自動駕駛等級不同，部署的傳感器種類也會有差異。下面來梳理一下各傳感器的原理以及優缺點。
01 攝像頭
攝像頭一般由鏡頭(Lens)，圖像傳感器(ImageSensor)，圖像信號處理器(ImageSignal Processor, ISP)，串行器發送(Serializer)組成。一般步驟是，鏡頭采集到物體的基本信息然后由Image Sensor進行一定處理后再交于ISP處理之后串行化傳輸。傳輸方式同樣可分為在同軸電纜或雙絞線上基于LVDS傳輸或者直接通過以太網傳輸。
對于布置來說，主要是視角對感知范圍的影響。在攝像頭感光元件大小確定的情況下，焦距越長，對應的視角越窄。但對應的分辨率也能大大提高——即看的清，但看的東西少。
因此在實際使用時利用不同焦距的攝像頭，來實現不同特定的功能，通常在L2級別以上基本會配置中程及長程攝像頭。高檔車輛會采用3前視攝像頭的配置。來做到全視野的信息采集。
展開 自動駕駛傳感器的選擇與布置
國內主要高階自動駕駛車型傳感器方案
自動駕駛系統的傳感器標定方法
來源 | 自動駕駛之心、計算機視覺life
導讀：傳感器標定是自動駕駛的基本需求，一個車上裝了多個/多種傳感器，而它們之間的坐標關系是需要確定的。灣區自動駕駛創業公司ZooX的co-founder和CTO是Sebastia Thrun的學生Jesse Levinson，他的博士論文就是傳感器標定。
這個工作可分成兩部分：內參標定和外參標定，內參是決定傳感器內部的映射關系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數），而外參是決定傳感器和外部某個坐標系的轉換關系，比如姿態參數（旋轉和平移6自由度）。
攝像頭的標定曾經是計算機視覺中3-D重建的前提，張正友老師著名的的Zhang氏標定法，利用Absolute Conic不變性得到的平面標定算法簡化了控制場。
這里重點是，討論不同傳感器之間的外參標定，特別是激光雷達和攝像頭之間的標定。
另外在自動駕駛研發中，GPS/IMU和攝像頭或者激光雷達的標定，雷達和攝像頭之間的標定也是常見的。不同傳感器之間標定最大的問題是如何衡量最佳，因為獲取的數據類型不一樣：
攝像頭是RGB圖像的像素陣列；
激光雷達是3-D點云距離信息（有可能帶反射值的灰度值）；
GPS-IMU給的是車身位置姿態信息；
雷達是2-D反射圖。
這樣的話，實現標定誤差最小化的目標函數會因為不同傳感器配對而不同。
另外，標定方法分targetless和target兩種，前者在自然環境中進行，約束條件少，不需要用專門的target；后者則需要專門的控制場，有ground truth的target，比如典型的棋盤格平面板。
這里僅限于targetless方法的討論，依次給出標定的若干算法。
展開 