傳感器融合的案例
技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
我們可以在每種傳感器中找到諸如此類的優缺點。
傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類的輸入內容，并且使用組合在一起的信息來更加準確地感知周圍的環境。相對于獨立系統，這樣可以做出更好、更安全的決策。雷達也許不具有光傳感器所具有的分辨率，不過它在測距和穿透雨、雪和濃霧方面具有很大優勢。這些天氣條件或光照不足的惡劣情況不利于攝像頭發揮作用，不過攝像頭能夠分辨顏色（可以想一想街道指示牌和路標），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經達到1百萬像素。在未來幾年內，圖像傳感器的發展趨勢將是2百萬，甚至4百萬像素。
雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。
傳感器融合系統示例
傳感器融合的復雜程度有所不同，并且數據的類型也不一樣。兩個基本的傳感器融合示例是：a）后視攝像頭加上超聲波測距；b）前方攝像頭加上多模式前置雷達——參見圖2。現在，我們可以通過對現有系統進行輕微更改和/或通過增加一個單獨的傳感器融合控制單元來對其進行實現。
展開 自動駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數據的過程。該步驟在機器人技術中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
如果兩個傳感器都檢測到了行人，傳感器融合技術將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數據，或者叫做數據融合。有9種方法可以構建數據融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應該什么時候進行融合？”
文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數據
低級別傳感器融合是關于融合來自多個傳感器的原始數據。例如，融合來自激光雷達的點云數據和來自攝像頭的像素級數據。
展開 自動駕駛汽車中的激光雷達和攝像頭傳感器融合
利用這個想法，我們可以將空間中的物體關聯起來，從而在不同的傳感器之間進行關聯。
此過程在文章中歸類為中級別傳感器融合。
中級傳感器融合和高級傳感器融合的區別在于高級傳感器的融合包括跟蹤。
要添加時間跟蹤，我們需要一個稱為時間關聯的類似過程。
時間上的IOU匹配
在障礙物追蹤 課程中，講了一種使用卡爾曼濾波器和匈牙利算法從幀到幀在時間上關聯對象的技術。結果使我們能夠在幀之間跟蹤對象，甚至預測它們的下一個位置。
如下所示：
IOU匹配的原理完全一樣：如果從第一幀到第二幀的邊界框重疊，我們認為這個障礙物是相同的。
此處，我們跟蹤邊界框位置并使用IOU（Intersection Over Union）作為指標。我們還可以使用深度卷積特征來確保邊界框中的對象是相同的--我們將此過程稱為SORT（簡單在線實時跟蹤），如果使用卷積特征，則稱為深度SORT。
由于我們可以在空間和時間中跟蹤對象，因此我們還可以在這種方法中使用完全相同的算法進行高級傳感器融合。
總結
我們現在已經研究了激光雷達和相機融合的兩種方法。
讓我們總結一下我們學到的東西：
傳感器融合過程是關于融合來自不同傳感器的數據，此處是激光雷達和攝像頭。
可以有早期或后期融合--早期融合（低級傳感器融合）是關于融合原始數據。后期融合是關于融合對象（中級傳感器融合）或軌跡（高級傳感器融合）。
在做早期傳感器融合時，要做點云和像素或者框的關聯。
展開 多傳感器融合技術原理及融合技術分析
傳感器融合，一般可以分為四種：
Early fusion — Fusing the raw data ，一般稱為前融合（或數據融合），匯總所有傳感器的數據，得到一個super-sensor，再進行檢測；
Late fusion — Fusing the results， 一般稱為后融合（或結果融合/信息融合），每個傳感器獨立檢測處理，得到檢測結果，再匯總；
Mid-level fusion ， 一般稱為中級融合/中層融合，各傳感器提供一個中等表示（比如特征），再匯總；
Sequential fusion ， 一般稱為順序融合，將多傳感器級聯，前一個為后一個提供信息，幫助下一個傳感器檢測更準確，缺點是容易造成誤差的累積；
前融合為數據層的融合，可以作為其他三種融合方式的基礎，目的是將多個傳感器數據源統一到同一度量時空，即時空一致性，時間一致性是為了讓兩個傳感器捕獲信息的瞬時時間戳要盡可能地接近，空間一致性是為了將傳感器坐標系統一到同一個坐標系。
硬件同步、硬同步：使用同一種硬件同時發布觸發采集命令，實現各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。
軟件同步：時間同步、空間同步。
時間同步、時間戳同步、軟同步：通過統一的主機給各個傳感器提供基準時間，各傳感器根據已經校準后的各自時間為各自獨立采集的數據加上時間戳信息，可以做到所有傳感器時間戳同步，但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。
展開 
多傳感器融合，叩開自動駕駛大門
目前來看，在硬件方面還沒有完全達到自動駕駛要求，仍需要不斷完善，正如多傳感器的相互融合。
交通管控中多傳感器融合技術的優勢
德國Jenoptik集團推出多傳感器融合技術來避免混淆監測。
Jenoptik集團目前正在聚焦于ITS部門的多傳感器融合技術應用的優勢。當考慮利用傳感器系統來改善交通擁堵和道路安全問題時，如果是涉及到警務安全，考慮只采用雷達系統或激光掃描儀來實現。但現在管理者需要的是檢測和監控車輛的解決方案，并同時實現執法功能，而目前并沒有哪一種傳感器技術能夠全部滿足這些條件，因此最優的解決方案是使用傳感器和其他組件的組合優勢來達到結果。
但大家必須清楚，多傳感器融合并不是電影《1984》的現實版本，它不會以“老大哥”無所不在的方式監視著公眾。相反，該技術以多種方式來協助道路使用者，高速公路運營商和交警以及公眾，為所有人提供更安全，更高效的旅程。
交叉路口的三維運動物體識別
多傳感器數據融合
多傳感器融合需要模塊化的多傳感器和基于基礎設施的物體檢測系統組合，并通過先進的傳感器技術（立體攝像機，車牌識別攝像機，雷達和激光等）檢測所有關于交通狀況和道路使用者的信息，并實現實時流量數據的收集。在這里，傳感器的測量范圍和速度的準確性，檢測率，穩定性，都會受到環境條件（照明，雨雪和溫度）的影響。
Jenoptik集團目前已經推出用于檢測往來車輛車型，車牌識別，車軸數等數據的模塊化的多傳感器融合系統。該系統的部署必須預先知道哪些組件安裝在什么地方可以實現復雜交通狀況的監控預期效果。路邊組件會將采集到的數據發送到后臺處理系統進行評估。另外，智能車牌識別軟件還可實現車輛信息與運營商數據的融合。
左：攝像機覆蓋區域。右：雷達覆蓋區域
路邊數據通常來源于車牌識別攝像機，包括車牌和車輛類型的圖像等，這些數據通過加密后部分或完全傳輸到中央數據服務器。但這些數據在不進行分析的情況下，只能算原始信息，價值并不大。
展開 康謀技術 | 多傳感器數據融合技術與策略解析
這種融合方式涉及將不同傳感器的數據在特征空間中進行組合，通常通過級聯或元素相乘的方式實現。通過特征互補可以提高魯棒性和提升泛化能力。
后融合（Late-Fusion）：是在各個傳感器獨立完成目標檢測或分類等任務后，將它們的預測結果進行綜合分析，以做出最終的決策。通過綜合多個傳感器的預測結果，提高決策準確性。可根據需要靈活添加或替換傳感器模型。
3、應用場景
在多傳感器融合中，前融合、深度融合和后融合各有優勢和適用場景。
前融合：在數據層面上實現早期整合，適合對原始數據依賴性較強的應用。
深度融合：在特征層面上進行信息融合，適合需要特征互補的復雜感知任務。
后融合：在目標層面上進行決策整合，適合需要最終決策優化的場景。
在實際應用中，根據系統需求和傳感器特性，選擇合適的融合策略或多種策略的組合，以達到最佳的感知效果。
展開 傳感器融合-數據篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產品），也可以是數據層（這里的討論范圍），還可以是任務層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數據融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環境的抗干擾能力也強，同時圖像作為被動視覺系統的主要傳感器，深度估計精度差，更麻煩的是穩定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數據和致密的圖像深度數據結合，形成互補？
展開 安森美半導體談自動駕駛，傳感器融合是關鍵
對此，安森美半導體推出了全球首個含有網絡安全的圖像傳感器，并于2018年第一季提供樣品。
在本次交流會中，除了有我們熟知的安森美半導體在圖像傳感器方面的成績，謝鴻裕還為我們分享了汽車寬禁帶的趨勢，并針對碳化硅、氮化鎵等新材料在汽車電子中的應用進行了詳細介紹。他認為，SiC用于逆變器可應對向更高電池電壓（800V）發展；GaN用于OBC可應對更高功率的趨勢，汽車電子在一定程度上采用新材料可以在很大程度上提高整體能效。同時，礙于新材料的成本問題，使得其目前沒有大規模使用。因此，安森美為了解決市場上汽車電子對能效的需求，推出了超級結（SJ）產品，以延長硅器件的使用壽命。
除此之外，安森美還介紹其在動力總成中發動機和變速箱；車身、底盤和主動安全；車載網絡和電源管理；汽車ASIC、ASSP關鍵能力以及汽車照明上的重點應用和功能。同時，為了配合智能化的發展，安森美半導體還可提供可擴展的產品設計，這些產品具有極佳的熱特性和高功率密度，有助于減少功能電子化方案的尺寸、重量和成本。
而智能化需要傳感器融合，繁復的汽車電子產品之間需要連接的橋梁。對此，謝鴻裕介紹：“安森美半導體現在的焦點是傳感器融合，不再是單點產品方案。安森美半導體有包括超聲波、攝像頭、雷達以及激光雷達全系列傳感器來助力產品間的融合。”
面對電氣化、智能化的趨勢，汽車電子的發展之路才剛剛開始，為了迎接未來的挑戰，我們面對的不再僅僅是單一器件，單一技術的進步，整體的解決方案，融合發展才是未來汽車電子在面對更嚴苛的車規標準時的有效應對措施。
文/半導體行業觀察 蔣思瑩
展開 康謀應用 | 基于多傳感器融合的海洋數據采集系統
然而，海洋數據采集也面臨數據噪聲和誤差、數據融合與協同和復雜海洋環境適應等諸多挑戰，制約著無人艇技術的發展。
針對這些挑戰，我們探索并推出一套基于多傳感器融合的海洋數據采集系統，能夠高效地采集和處理海洋環境中的多維度數據，為無人艇的自主航行和控制算法訓練提供高質量的數據支持。
一、方案架構
無人艇要在復雜海上環境中實現自主導航，尤其是完成障礙物檢測和跟蹤任務，其關鍵在于對海面環境的高效感知。因此，通過集成多種傳感器，包括相機、激光雷達、IMU（慣性測量單元）和GPS（全球定位系統），能夠采集更全面、更精確的海洋環境數據。但這種系統也會進一步涉及時間同步、數據傳輸與存儲以及環境適應性等問題。
基于以上考慮，采用BRICKplus(工控機)+ETH6000+傳感器套件(6*iDS相機+1*LiDAR+1*IMU+1*GPS)方案架構，如下圖所示：
基于BRICKplus+ETH6000構建的數采平臺，提供12個以太網接口（10*1Gb+2*10Gb）可以有效接入各個傳感器，并為后續升級技術架構、接入更多傳感器預留更多空間。多傳感器產生的數據量巨大，對數據傳輸和存儲提出了高要求，特別是8MP相機6個同時采集。
采用BRICKplus提供大容量（8/16/32TB）高速寫入（16Gbit/s）存儲硬盤，能夠高效穩定落盤傳感器數據。采用GPS模塊，支持（g）PTP時間同步與定位。
二、系統搭建
為了更好的感知無人艇周邊環境信息，對傳感器分布和方式進行了設計和調整，布局如下圖所示。該布局可以更有效的應對海面復雜環境下的數據采集。
三、數據采集
在面向無人艇數據采集時，需要使傳感器套件（四類傳感器）能夠同時采集數據，并具備時間同步，實時可視化、存儲和回放等能力。
展開 多傳感器融合定位是否足夠安全？
我們沒有選擇使用優化器，因為BA-MSF實現以二進制形式發布，因此我們無法直接獲得其分析公式。對于我們分析中的給定傳感器數據跡線，存在多個可能的攻擊窗口，即前一個GPS數據和后一個GPS數據的間隙。對于每個攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關單源KF安全性的研究工作中使用的一種方法。根據我們的威脅模型，我們將對GPS欺騙數據的測量不確定性設置為BA-MSF中傳感器數據跡線的中值。
我們對兩種類型的傳感器數據跡線進行上述分析：（1）真實數據，以及（2）擬合的無噪聲數據。前者是通過在真實世界中駕駛AV時直接記錄MSF的輸入而獲得的，此類跡線的分析結果具有最高的真實性。但是我們可以執行的操作是有限的，由于不同傳感器數據之間存在相關性，我們無法輕易地修改傳感器數據；并且由于傳感器存在噪聲，分析可能不準確。因此，我們利用后者進行補充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實GPS信號定位都設置為真實位置，其測量不確定度設置為實際數據的中值，并根據駕駛軌跡擬合出IMU測量值。
實驗環境
我們使用官方Apollo AD系統中的BA-MSF實現代碼。
展開 
蔚來公布自動駕駛進展：放棄純視覺路線，做多傳感器融合
至于現在的第一代車，也就是 ES8 ，以目前傳感器和運算能力，做不到L4，我們也不會宣布可以做到 L3。
李斌說，蔚來下一代的自動駕駛平臺，會用到更多的傳感器，激光雷達、紅外，滿足不同場景下的需求。從今天角度來看，不用更多傳感器，是做不到L4。有些公司，宣稱攝像頭可以。以產業共識來看，是有誤導的。（我覺得說的就是特斯拉）
其實不光是傳感器與芯片，還需要考慮冗余與備份。一個轉向器壞了，剎車壞了怎么板？蔚來需要完整設計這個體系。
與特斯拉基于攝像頭的感知是不同，蔚來依靠多傳感器融合，選擇跳過 L3 選擇直接 L4，提高自動駕駛的研發進程。
總結
蔚來以前的目標是做”中國的特斯拉”，然而特斯拉卻偏偏進入了中國，蔚來跟自己的模仿對象競爭，技術功能上至少落后2年，而且價格也并不占任何優勢。用戶花了很高的價錢，買了一臺裝滿傳感器的ES8智能車，然而該平臺可能最終無法升級到想要的L4功能，蔚來汽車自動駕駛的未來并不明朗。
展開 九小場所消防安全：傳感器技術筑起守護防線
為了守護這些場所的安全，傳感器技術正逐步成為消防安全管理的重要利器。
智慧消防：從“事后處理”到“事前預防”
傳統消防管理模式往往側重于火災發生后的應急響應，但這種方式在九小場所中顯然力不從心。智慧消防理念的提出，為破解這一難題提供了新思路。通過引入傳感器技術，實現對火災風險的實時監控與預警，將消防工作從“事后處理”轉向“事前預防”，有效降低了火災發生的概率和損失。
傳感器技術：火災探測的“火眼金睛”
在九小場所的消防安全管理中，傳感器技術發揮著至關重要的作用。特別是在火災初期，當肉眼難以察覺時，傳感器卻能敏銳地捕捉到火災的前兆信號。其中，一氧化碳傳感器因其高靈敏度和高選擇性，成為火災探測領域的佼佼者。
一氧化碳作為火災燃燒過程中釋放的重要氣體之一，其濃度在火災初期會迅速上升。通過安裝高靈敏度的一氧化碳傳感器，如TGS5141-P00，可以實現對火災跡象的早期探測。這款傳感器不僅體積小、功耗低，而且具有超長的使用壽命和可靠的穩定性，非常適合在九小場所中廣泛應用。
多傳感器融合：提升火災預警的可靠性
為了提高火災預警的準確性和可靠性，九小場所的消防系統往往采用多傳感器融合技術。除了一氧化碳傳感器外，還可以結合煙霧傳感器、溫度傳感器等多種探測手段，進行綜合判斷。這種多傳感器融合的方式，能夠有效避免單一傳感器可能存在的誤報或漏報問題，提升整個消防系統的智能化水平。
可燃氣體傳感器：守護餐飲業的“安全衛士”
對于餐飲業這一九小場所的重要組成部分，可燃氣體傳感器同樣不可或缺。餐飲業中廣泛使用的天然氣、液化氣等易燃氣體，一旦泄漏就可能引發嚴重的爆炸事故。
展開 【11月3-5日 北京】無人駕駛多傳感器技術和系統功能開發技術高級培訓班
同時分析攝像頭技術和激光雷達，以及不同傳感器的技術參數以及各自的優缺點，引出下一章基于多傳感器技術的多種輔助駕駛系統。
作為真正意義上的無人駕駛技術，不僅需要多傳感器技術互相配合分工，實現系統冗余達到更高的安全級別，同時人工智能算法，高速的數字網絡基礎設施，高精地圖和信息安全技術等是不可缺少的一部分。通過全面的講解，使學員對整個無人駕駛技術得到全面的認識。第五章將從國家發展戰略高度來解析無人駕駛技術將來的運營和普及，以及該領域帶來的新的商業模式。
第二部分，聚焦無人駕駛中的關鍵技術-多傳感器融合。本課程前三章首先闡述車規級前裝量產自動駕駛項目對于多傳感器融合技術的要求，并介紹當今全球無人駕駛感知方面的主流技術方案。
第四章和第五章詳細介紹傳感器融合的基本原理和兩種基本技術方案-前端與后端融合。當前比較普遍的做法是基于檢測對象的后端融合。這種做法被廣泛應用于多種輔助駕駛量產項目中。后端融合對各傳感器采集的信息進行單獨、孤立地處理，不僅會導致信息處理工作量的增加，而且，割斷了各傳感器信息間的內在聯系，丟失了信息經有機組合后可能蘊含的有關環境特征，造成信息資源的浪費，甚至可能導致決策失誤。基于傳感器原始數據的前端融合致力于更有效合理的處理傳感器原始數據從而實現多傳感器的互補，是現在公認的技術發展方向。但是對于相對成熟的后端融合，前端融合仍然有很多技術痛點仍然亟待攻克。傳感器專家將對多傳感器前端融合技術痛點通過具體案例分享自己在工作中的心得和體會。
主講專家
資深專家1: 博士，全德華人機電工程師學會、中德教育與科技合作促進中心特聘專家。供職于德國大型汽車公司擔任毫米波雷達和汽車輔助駕駛技術項目經理。曾擔任毫米波雷達前沿研發項目經理，平臺項目經理，AD L4/5項目規劃負責人。
展開 自動駕駛多傳感器數據融合方法
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數據輸入，能夠有效整合來自不同模態的深層特征。
展開 