自動駕駛傳感器的案例
自動駕駛傳感器的選擇與布置
國內主要高階自動駕駛車型傳感器方案
自動駕駛傳感器創新的困境
高階自動駕駛的量產落地需要一個技術體系的進步，感知、決策、控制，每一個環節的軟硬件都需要持續不斷創新，其中自動駕駛車輛的感知能力是后兩者能夠安全、準確實現的基礎。
因此，我們可以看到智能電動汽車關于感知傳感器的裝載，也在不斷增加和技術迭代。
從傳感器的形態和功能維度來看，可以分為幾個階段：
第一階段：以超聲波雷達為主的燃油車時代；
第二階段：以超聲波和毫米波雷達為主的高配置燃油車時代；
第三階段：超聲波、毫米波、攝像頭為主，實現的 L2/L2.5 級別輔助駕駛的智能電動車；
第四階段：在上述基礎上加入激光雷達，實現包含城市等更高級別的自動駕駛。
隨著高級別自動駕駛對感知傳感器需求的變高，傳感器本身的技術迭代和技術創新也在加速。
硬件競爭短期不會結束
在科技產品中硬件往往是基礎，為實現一些系統性的功能而存在的，在整個自動駕駛系統中「感知傳感器」就像是眼睛，讓車輛能夠豐富而更加精準的感知真實的環境。
從目前的技術路徑來看，除了特斯拉堅持純視覺感知以外，其他所有廠商都是走感知融合路線，也就是「視覺 + 雷達」方案，這樣的傳感器配置可以彌補單一傳感器之間的不足，以及無法達到安全冗余的需求。
如果我們把自動駕駛整個大系統拆分來看，感知本身就是一套小系統存在，它的組成包括：物理硬件、軟件算法、芯片。這三者之間的關系是，硬件識別到的數據，由感知算法解析，解析標定之后提交有用數據與其他傳感器數據比對，通過整個自動駕駛計算平臺計算得到答案后交給決策機構。
展開 傳感器融合-數據篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產品），也可以是數據層（這里的討論范圍），還可以是任務層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在高層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數據融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環境的抗干擾能力也強，同時圖像作為被動視覺系統的主要傳感器，深度估計精度差，更麻煩的是穩定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數據和致密的圖像深度數據結合，形成互補？
展開 多傳感器融合，叩開自動駕駛大門
2
多傳感器融合成必經之路
雖然說自動駕駛在全球范圍內已經形成風潮，并有望在2021年實現4級自動駕駛，但是其想要真正走入現實也并非易事。從技術方面而言，目前自動駕駛的痛點在于穩定可靠的感知及認知，包括清晰的視覺、優質的算法、多傳感器融合以及高效強大的運算能力。其中，多傳感器融合也被認為是自動駕駛未來的重要發展趨勢。
目前用于自動駕駛的傳感器主要有激光雷達、毫米波雷達以及攝像頭三類，其各具優缺點。激光雷達具有高精度、高分辨率的優勢，然而其易受雨霧等極端天氣影響，且成本居高不下，不利于大規模量產。雖然毫米波雷達可解決激光雷達的部分缺點，但是其探測距離易受元器件功率及潮濕環境影響。另一方面，如果不與其他傳感器配合使用，攝像頭在夜晚就顯得捉襟見肘了。
針對感知層的現狀，Lance Williams表示：“傳感器融合是具潛力的方案，也是迫在眉睫的挑戰。有效地開發和實施一個含多傳感器的方案也面臨著許多挑戰。”
具體而言，多傳感器融合就是將多個傳感器獲取的數據、信息集中在一起綜合分析以便更加準確可靠地描述外界環境，從而提高系統決策的正確性。雖然在原理上看似簡單，但是在自動駕駛場景中則顯得充滿挑戰。多傳感器融合，需要對每個傳感器采集的信息進行快速處理，從而讓高速行駛的汽車及時進行反饋動作，以應對突發的交通情況。由此可見，多傳感器融合并不僅僅是硬件方面的協同配合，還包括決策層的算法和算力支持。
為此，安森美半導體在自動駕駛感知層覆蓋了所有的傳感器方案，包括超聲波、成像、雷達、光達，可支持視覺、前視先進駕駛輔助系統(ADAS)、車道偏離警告、自適應巡航控制、乘員檢測、電子車鏡、駕駛員監控和手勢識別。在決策層方面，還是關鍵廠商如Mobileye、NVIDIA和英特爾的主要供應商。
展開 
干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
隨著智能駕駛技術的普遍應用，智能駕駛相關的測試測量方法也隨之發展。特別是模擬仿真測試領域，在智能駕駛產品開發過程中的應用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統（ADAS），都是依靠高精度攝像頭、毫米波雷達、激光雷達等感知傳感器對車輛周邊環境進行感知識別來實現的。那么在自動駕駛系統模擬仿真測試實施過程中，系統中感知傳感器是如何進行實物仿真測試驗證的呢。
本文對自動駕駛系統中感知傳感器實物仿真測試環境構建的原理及其相關方案進行介紹。
■ 視覺攝像頭的實物仿真環境構建
視覺攝像頭是感光傳感器，光線通過攝像頭光學模組，映射到光學模組后面的感光芯片上，芯片將光信號轉換成電信號，這些電信號經過濾波、編碼等信號處理步驟，最終形成攝像頭模組的數字視頻信號。視頻數據通過數字視頻接口，傳輸給攝像頭主控制板。攝像頭主控板集成了主處理器、圖像處理單元和攝像頭電源模塊等電路單元，其中主處理器基于人工智能（AI）和圖像處理技術，圖像處理單元對拍攝圖像進行實時的解析。數據經過處理后，車輛前方的車輛、行人以及障礙物被識別出來。
放置在駕駛室內部的自動駕駛系統視覺前向攝像頭，朝著車輛行駛方向。前向攝像頭透過風擋玻璃對車輛前方的環境進行拍攝，前向視覺攝像頭可以識別取景范圍內的車輛、行人、車道線、交通信號燈、交通道路標志等目標。
圖1 視覺攝像頭識別車輛前方場景圖（圖片來源：車元素）
基于上述攝像頭圖像采集和目標處理的原理，針對視覺攝像頭的場景目標模擬仿真可以采用視覺場景再現的方式進行實現。最簡單便利的方式是利用投影的方式，對提前錄制好的視覺場景視頻進行播放，視覺攝像頭可以非常輕易的采集到模擬場景中目標，從而完成對攝像頭目標的模擬。
用于攝像頭目標模擬的投影系統，一般由投影儀、幕布及支架組成。
展開 各類傳感器百家爭鳴，自動駕駛趕上了好時代
自動駕駛汽車中的傳感器必須解決溫度、照明、反射、導航甚至網絡安全等多種性能挑戰。
據麥姆斯咨詢介紹，自動駕駛為基于光子學的傳感器帶來了機遇和挑戰。自動駕駛汽車需要激光雷達（LiDAR）、攝像頭、雷達和超聲波等許多類型的傳感器，預計每年數百萬的自動駕駛汽車將為這些傳感器帶來巨大的市場機遇。
當然，與機遇相伴的是，挑戰也很多。攝像頭和激光雷達必須高可靠地生成安全導航所需要的數據，在各種溫度、照明水平和目標反射率下運行多年。并且，還需要在低成本下提供這種性能，好比以消費類產品的價格，提供航天產品的質量。
上圖激光雷達圖像中的顏色編碼反映強度，很容易看到車輛的黑色輪胎。這種性能對于自動駕駛很重要，因為道路上時常會出現車輛需要避讓的散落輪胎
因此，激光雷達和攝像頭供應商正在不斷創新。如果自動駕駛汽車能夠在近年內成功在大眾市場閃亮登場，激光雷達和攝像頭技術的進步功不可沒。
Yole技術和市場分析師Alexis Debray指出，對多種傳感器的需求，源于這些不同技術的不同基本功能。“攝像頭具有良好的空間分辨率，但缺乏深度信息，”他說，“雷達具有良好的深度感知，但受限于橫向空間分辨率。而激光雷達能夠以中等分辨率實現兩者兼具。”
Debray稱，攝像頭相比雷達可以提供100倍的空間分辨率。而落在兩者之間的激光雷達，其分辨率約為雷達的20倍，攝像頭的五分之一，填補了覆蓋范圍的空白。
自動駕駛使用多種類型的傳感器，還有另一個原因。“那就是安全，需要從多個傳感器獲取自動駕駛需要的冗余信息，”Debray說。
展開 下一代自動駕駛域控制器系統架構設計
總結
隨著下一代自動駕駛程度的提高，汽車自身所產生的數據將越來越龐大。據估算，假設 一輛自動駕駛汽車配置了GPS、聲納、 相機、雷達和激光雷達等傳感器，則上述傳感器每秒鐘產生的數據將是：50kB（GPS）+10-100kB（聲吶）+20-40MB（相機）+10-100kB（雷達）。將上述數字相加后可知，一輛自動駕駛汽車每天將產生約4000GB待處理的傳感器數據。由此，有志于投入自動駕駛系統研制的汽車制造商、IT公司以及初創科技公司們不得不面對一個復雜的難題：如何使自動駕駛汽車能夠實時處理如此海量的數據，并在提煉出的信息的基礎上，得出合乎邏輯且形成安全駕駛行為的決策？
解決上述難題的兩個關鍵環節在于提出合理的自動駕駛系統架構，本文正是基于如上現有問題進行闡述和分析，用于重點區分數據處理在終端傳感器處還是在中央處理器完成，這一過程需要對中央控制器的實際算力進行重新評估。同時如何將數據從終端傳感器傳輸到中央處理器，且當對并非位于一處而是遍布自動駕駛汽車車身的多個傳感器進行數據融合時，需要專門考慮傳感器和中央處理器之間的連接設計和線路布置需求。
展開 自動駕駛中的9種傳感器融合算法
來源 |
AI修煉之路
在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數據的過程。該步驟在機器人技術中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。
為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人：
如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
如果兩個傳感器都檢測到了行人，傳感器融合技術將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。
由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。
在融合傳感器時，我們實際上是在融合傳感器數據，或者叫做數據融合。有9種方法可以構建數據融合算法。這9種方法又可以分為3大類。
本文將重點介紹傳感器融合的3種分類和9種算法。
按抽象級別進行傳感器融合
最常見的融合類型是抽象級別的。在這種情況下，問題是“應該什么時候進行融合？”
文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。
在業界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。
低級別融合：融合原始數據
低級別傳感器融合是關于融合來自多個傳感器的原始數據。例如，融合來自激光雷達的點云數據和來自攝像頭的像素級數據。
展開 技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上是依靠傳感器來實現的。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現自動駕駛的關鍵。
現在路面上的很多汽車，甚至是展廳內的很多新車，內部都配備有基于攝像頭、雷達、超聲波或LIDAR等不同傳感器的先進駕駛員輔助系統（ADAS）。
這些系統的數量將會隨著新法案的通過而不斷增加，例如在美國，就有強制要求安裝后視攝像頭的法案。此外，諸如車險打折優惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協會（Euro-NCAP）等機構做出的汽車安全評級正在使某些系統成為汽車的強制功能；另一方面，這也助長了消費者對它們的需求。
諸如自動泊車、公路巡航控制和自動緊急制動的自動駕駛汽車功能也在很大程度上依靠傳感器來實現。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環視系統、雷達和前方攝像頭都有它們各自的用途。通過將這些獨立的系統添加到車輛當中，可以為駕駛員提供更多信息，并且實現自動駕駛功能。不過，你還可以突破限制，實現更多功能——參見圖1。
圖1：ADAS以汽車內單個、獨立的功能存在。
傳感器融合
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。
展開 關于對自動駕駛傳感器的理解
來源 | 汽車ECU開發
知圈 | 進“域控制器群”請加微13636581676,備注域
自動駕駛集環境感知、規劃決策、運動控制、多級輔助駕駛等功能于一體，運用現代傳感器技術，集中使用視覺計算、通用計算、神經網絡計算于一體進行信息融合、同時輔以V2X通訊、人工智能來實現自動控制。自動駕駛的關鍵技術依次可以分為環境感知、行為決策、路徑規劃和運動控制四大部分。
環境感知是通過傳感器對周圍環境基本信息進行采集，也是自動駕駛的基礎。根據自動駕駛路線的不同，實現的自動駕駛等級不同，部署的傳感器種類也會有差異。下面來梳理一下各傳感器的原理以及優缺點。
01 攝像頭
攝像頭一般由鏡頭(Lens)，圖像傳感器(ImageSensor)，圖像信號處理器(ImageSignal Processor, ISP)，串行器發送(Serializer)組成。一般步驟是，鏡頭采集到物體的基本信息然后由Image Sensor進行一定處理后再交于ISP處理之后串行化傳輸。傳輸方式同樣可分為在同軸電纜或雙絞線上基于LVDS傳輸或者直接通過以太網傳輸。
對于布置來說，主要是視角對感知范圍的影響。在攝像頭感光元件大小確定的情況下，焦距越長，對應的視角越窄。但對應的分辨率也能大大提高——即看的清，但看的東西少。
因此在實際使用時利用不同焦距的攝像頭，來實現不同特定的功能，通常在L2級別以上基本會配置中程及長程攝像頭。高檔車輛會采用3前視攝像頭的配置。來做到全視野的信息采集。
展開 自動駕駛系統的傳感器標定方法
來源 | 自動駕駛之心、計算機視覺life
導讀：傳感器標定是自動駕駛的基本需求，一個車上裝了多個/多種傳感器，而它們之間的坐標關系是需要確定的。灣區自動駕駛創業公司ZooX的co-founder和CTO是Sebastia Thrun的學生Jesse Levinson，他的博士論文就是傳感器標定。
這個工作可分成兩部分：內參標定和外參標定，內參是決定傳感器內部的映射關系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數），而外參是決定傳感器和外部某個坐標系的轉換關系，比如姿態參數（旋轉和平移6自由度）。
攝像頭的標定曾經是計算機視覺中3-D重建的前提，張正友老師著名的的Zhang氏標定法，利用Absolute Conic不變性得到的平面標定算法簡化了控制場。
這里重點是，討論不同傳感器之間的外參標定，特別是激光雷達和攝像頭之間的標定。
另外在自動駕駛研發中，GPS/IMU和攝像頭或者激光雷達的標定，雷達和攝像頭之間的標定也是常見的。不同傳感器之間標定最大的問題是如何衡量最佳，因為獲取的數據類型不一樣：
攝像頭是RGB圖像的像素陣列；
激光雷達是3-D點云距離信息（有可能帶反射值的灰度值）；
GPS-IMU給的是車身位置姿態信息；
雷達是2-D反射圖。
這樣的話，實現標定誤差最小化的目標函數會因為不同傳感器配對而不同。
另外，標定方法分targetless和target兩種，前者在自然環境中進行，約束條件少，不需要用專門的target；后者則需要專門的控制場，有ground truth的target，比如典型的棋盤格平面板。
這里僅限于targetless方法的討論，依次給出標定的若干算法。
展開 
自動駕駛多模態傳感器融合的綜述
域偏差和數據分辨率與真實場景和傳感器高相關。這些缺陷阻礙了自動駕駛深度學習模型的大規模訓練和實施。
域偏差：在自主駕駛感知場景中，由不同傳感器提取的原始數據伴隨著域相關特征。不同的攝像頭系統有其光學特性，而激光雷達可能因機械激光雷達和固態激光雷達而不同。更重要的是，數據本身可能是有域偏差的，例如天氣、季節或地理位置。因此，檢測模型無法順利適應新的場景。由于泛化失敗，這些缺陷妨礙大規模數據集的收集和原始訓練數據可重用性。
分辨率沖突：來自不同模式的傳感器通常具有不同的分辨率。例如，激光雷達的空域密度明顯低于圖像的空域密度。無論采用何種投影方法，由于無法找到對應關系，一些信息被消除。這可能導致模型被一個特定模態的數據所主導，無論是特征向量的分辨率不同還是原始信息的不平衡。
展開 淺析自動駕駛域控制器及當前發展情況
在自動駕駛技術快速發展背景下，國內外越來越多的Tier1和供應商都開始涉足這個領域。
2017年8月底，麥格納德國首次公布了最新研發的MAX4自動駕駛平臺。整個解決方案融合了攝像頭、高清雷達、激光雷達和超聲波雷達等在內的傳感器系統，以及域控制器處理系統、軟件系統。
作為一個高度集成的自動駕駛傳感器和計算平臺，MAX4具有定制化和高擴展性的特點，可實現L4級別的自動駕駛，同時適用于城市道路和高速公路路況。
其中一大特色是搭載MAX4的車輛不需要改變外觀，后備箱也不會裝有一大堆的存儲和運算硬件，主要原因在于麥格納采用了固態激光雷達，把域控制器也做到了接近實際量產的大小。
采埃孚（ZF）推出搭載多種傳感器以及支持人工智能的采埃孚ProAI中央控制單元。基于這一控制單元，采埃孚能利用模塊化設計開發自主駕駛功能。憑借其開放的架構，采埃孚ProAI具有擴展性——硬件部件、互聯化的傳感器、評估軟件和功能模塊可以根據所需的用途和自動駕駛等級進行調整。
采埃孚的ProAI控制器會對圖像及雷達數據進行處理，該控制器是具有8核CPU架構的Xavier芯片，擁有70億個晶體管以及相應的數據處理能力。該處理芯片每秒可管理高達30萬億次操作(TOPS)，且功耗僅為30瓦。ZF在2018年12月上海展會展示的域控制器產品已經實現了3個Xavier模塊的級聯，甚至4個級聯，號稱算力可以達到120TOPS。
采埃孚與百度合作，ProAI作為承載自主代客泊車系統的車載計算單元，已經率先在國內盼達用車的測試車隊上搭載。有消息稱，搭載了百度Apollo 2.0系統的奇瑞全新自動駕駛車型，將成為ProAI控制器的首家量產客戶。而奇瑞方面將基于該控制器，在2020年實現L3級自動駕駛車型的量產。
展開 自動駕駛傳感器融合：激光雷達+攝像頭
前言
自動駕駛感知技術所采用的傳感器主要包括攝像頭，激光雷達和毫米波雷達。這些傳感器各有優缺點，也互為補充，因此如何高效的融合多傳感器數據，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務中融合激光雷達和攝像頭，重點是目前主流的基于深度學習的融合算法。
攝像頭產生的數據是2D圖像，對于物體的形狀和類別的感知精度較高。深度學習技術的成功起源于計算機視覺任務，很多成功的算法也是基于對圖像數據的處理，因此目前基于圖像的感知技術已經相對成熟。圖像數據的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統可以解決深度信息獲取的問題，但是計算量很大。激光雷達在一定程度上彌補了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規要求難以滿足，因此在量產方面比較困難。同時，激光雷達生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠距離物體或者小物體來說，反射點的數量會非常少。
如下圖所示，圖像數據和點云存在著巨大的差別。首先是視角不同，圖像數據是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標系中的三維信息，可以投影到多種視圖。其次是數據結構不同，圖像數據是規則的，有序的，稠密的，而點云數據是不規則的，無序的，稀疏的。在空間分辨率方面，圖像數據也比點云數據高很多。
圖片來源于參考文獻[1]
自動駕駛感知系統中有兩個典型的任務：物體檢測和語義分割。深度學習技術的興起首先來自視覺領域，基于圖像數據的物體檢測和語義分割已經被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。
展開 自動駕駛多傳感器數據融合方法
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
中期融合的方式能夠有效減少模型的數據輸入，能夠有效整合來自不同模態的深層特征。
展開 