傳感器數(shù)據(jù)采集的案例
賦能商用車 ADAS 研發(fā)：多傳感器數(shù)據(jù)采集方案
在軟件層面，我們的多傳感器數(shù)據(jù)采集上位機軟件，實現(xiàn)了數(shù)據(jù)采集、管理、后處理的全生命周期管控，全方位保障數(shù)據(jù)質(zhì)量。該軟件可精細化管控各類傳感器，支持用戶自定義采集方案，搭配低延遲實時可視化界面與快速告警響應(yīng)機制，內(nèi)置的質(zhì)量評估模塊可高效識別異常數(shù)據(jù)；同時針對商用車長途連續(xù)采集場景進行了資源優(yōu)化設(shè)計，可實現(xiàn)不間斷連續(xù)采集。
此外，軟件兼容ROS1/2 BAG等行業(yè)主流存儲格式，會對采集數(shù)據(jù)進行結(jié)構(gòu)化命名與存儲，并自動生成元數(shù)據(jù)文件，詳細記錄采集關(guān)鍵信息，便于后續(xù)數(shù)據(jù)追溯與使用。
?
三、結(jié)語
綜上，從商用車車體特性與場景需求的深度拆解，到傳感器配置、硬件架構(gòu)、標(biāo)定流程、采集軟件的全流程落地，康謀商用車ADAS多傳感器數(shù)據(jù)采集解決方案始終以商用車專屬需求為核心，以高精度、高穩(wěn)定、高適配為核心目標(biāo)，可匹配當(dāng)前BEV與端到端模型的研發(fā)需求，為商用車ADAS技術(shù)升級提供堅實的數(shù)據(jù)支撐。
展開 惡劣工況下的ADAS多源傳感器數(shù)據(jù)采集：從硬件抗干擾到算法泛化
具體來說，從傳感器選型到數(shù)據(jù)落地，需以 “真實場景還原” 為核心，結(jié)合標(biāo)準(zhǔn)化與模塊化設(shè)計，才能系統(tǒng)性解決惡劣工況下的數(shù)據(jù)采集難題。
康謀應(yīng)用 | 基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)
該布局可以更有效的應(yīng)對海面復(fù)雜環(huán)境下的數(shù)據(jù)采集。
三、數(shù)據(jù)采集
在面向無人艇數(shù)據(jù)采集時，需要使傳感器套件（四類傳感器）能夠同時采集數(shù)據(jù)，并具備時間同步，實時可視化、存儲和回放等能力。整體軟件架構(gòu)采用ROS+傳感器集成方式，支持即插即用，使用便捷。
比如在iDS相機采集鏈路上，涉及到多相機同步采集的實現(xiàn)難度大、圖像數(shù)據(jù)的實時傳輸和存儲需求高和動態(tài)參數(shù)調(diào)整的靈活性不足等問題。通過定制化開發(fā)，采用ROS+PEAK SDK方案進行深度集成，實現(xiàn)了多相機同步采集、實時可視化、動態(tài)參數(shù)調(diào)整等功能，靈活適應(yīng)海面復(fù)雜的采集環(huán)境，提高了系統(tǒng)的通用性。
四、總結(jié)
在海洋監(jiān)測和無人艇控制領(lǐng)域，數(shù)據(jù)采集的準(zhǔn)確性和可靠性至關(guān)重要。基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)方案，利用高性能的BRICKplus+ETH6000模塊作為中央處理單元，連接多個傳感器，能夠?qū)崿F(xiàn)高速數(shù)據(jù)傳輸和同步。
該系統(tǒng)采用ROS框架與傳感器SDK進行定制開發(fā)，實現(xiàn)了多線程數(shù)據(jù)采集、處理和發(fā)布。同時支持配置文件動態(tài)加載傳感器參數(shù)，支持實時調(diào)整和優(yōu)化，進而顯著提高了數(shù)據(jù)采集的同步性、實時性和可靠性，為無人艇的自主航行和控制算法訓(xùn)練提供了高質(zhì)量的數(shù)據(jù)支持。
展開 網(wǎng)絡(luò)課程 | 5月18日添加布拉格光柵傳感器到經(jīng)典數(shù)據(jù)采集系統(tǒng)
官網(wǎng)：
<HBM應(yīng)變片：應(yīng)力測試測量首選>
<HBM稱重傳感器：稱重精度，久經(jīng)驗證>
<HBM力傳感器： 應(yīng)變和壓電兩種測量技術(shù)>
<HBM扭矩傳感器和轉(zhuǎn)矩傳感器>
<電功率測試 - 從部件到車輛能源管理>
<數(shù)據(jù)采集系統(tǒng)與設(shè)備>
您還可以通過如下方式聯(lián)系我們，了解更多產(chǎn)品與應(yīng)用詳情：
郵箱：hbmchina@hbm.com.cn
官網(wǎng)：https://www.hbm.com/cn/
電話：400-900-3165（周一至周五9:00-18:00）
展開 
NuttX飛控系統(tǒng)
主處理器運行NuttX實時操作系統(tǒng)，所有功能都通過任務(wù)進程實現(xiàn)。主要的進程有傳感器數(shù)據(jù)采集、姿態(tài)估算、姿態(tài)控制、飛行器狀態(tài)識別與切換、協(xié)處理器控制、日志記錄。進程間進行通信是程序結(jié)構(gòu)的重要部分。 也就是說在飛機中就有幾個主要進程控制飛機，每個進程負責(zé)些什么呢？
如圖1所示，
傳感器數(shù)據(jù)采集進程： 采集的所有傳感器數(shù)據(jù)。
姿態(tài)估計進程：利用傳感器數(shù)據(jù)估算出飛行器當(dāng)前姿態(tài)。
協(xié)處理器通信進程：獲取遙控數(shù)據(jù)。
狀態(tài)識別進程：結(jié)合傳感器數(shù)據(jù)、飛行器姿態(tài)和遙控數(shù)據(jù)識別出飛行器當(dāng)前模式。
姿態(tài)控制進程：通過飛行器姿態(tài)、遙控數(shù)據(jù)、飛行器模式計算出當(dāng)前所需的PID控制量并推送至uORB。
協(xié)處理器通信進程 ：再將訂閱的PID控制量通過高速串口發(fā)送至協(xié)處理器。
多個進程進行通信: uORB 訂閱主題 ，發(fā)布主題。
協(xié)處理器和主處理器的關(guān)系：
主處理器通信部分采用DMA方式直接填充至PWM匹配輸出寄存器，最大程度地減小CPU的干預(yù)。失聯(lián)識別在定時器20 ms中斷中實現(xiàn)，每次進中斷會讀取DMA傳輸計數(shù)器的值并記錄，再與上次的記錄值進行比較，如果兩個值不相等，則說明數(shù)據(jù)連接正常；相反，如果連接斷開，兩個值將會相等，據(jù)此實時地判斷出連接的通斷狀態(tài)。主循環(huán)中只需要判斷通斷標(biāo)志位，如果檢測到連接斷開，協(xié)處理器則會啟用失效保護功能：通過SPI總線讀取MPU6000芯片的加速度和角速度數(shù)據(jù)，利用四元數(shù)姿態(tài)融合算法,得到姿態(tài)信息，轉(zhuǎn)換成歐拉角之后，再用PID控制器保持飛行器的水平姿態(tài)，直到與主處理器的連接恢復(fù)正常，再將電機控制權(quán)交還給主處理器。用歐拉角表示剛體姿態(tài)方便幾何推導(dǎo)，但是存在萬向節(jié)死鎖，即當(dāng)剛體的3個萬向節(jié)中兩個的軸發(fā)生重合時，會出現(xiàn)失去一個自由度的情況。
展開 康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析
面對復(fù)雜的感知任務(wù)，單一傳感器的局限性逐漸顯現(xiàn)，比如相機對目標(biāo)的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標(biāo)精確的3D信息，但無法獲得目標(biāo)紋理，易產(chǎn)生噪點等情況。多傳感器數(shù)據(jù)融合技術(shù)應(yīng)時而生，通過整合不同傳感器的優(yōu)勢，為車輛提供了一個全面、立體的感知維度。
一、多傳感器融合的先決條件
當(dāng)多種傳感器裝在同一輛車上時，使用同一個系統(tǒng)來采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準(zhǔn)識別同一個物體，需要對這些傳感器進行統(tǒng)一時鐘和坐標(biāo)系，即最終實現(xiàn)：同一個目標(biāo)在同一個時刻出現(xiàn)在不同類別的傳感器的同一個世界坐標(biāo)處。
圖1：傳感器融合先決條件
1、統(tǒng)一時鐘
確保所有傳感器數(shù)據(jù)在時間上的一致性，為后續(xù)處理提供同步基準(zhǔn)。關(guān)于時間同步的詳細內(nèi)容可見往期內(nèi)容：
《自動駕駛：揭秘高精度時間同步技術(shù)（一）》
https://www.yqgqt.org.cn/post/1942685
《自動駕駛：揭秘高精度時間同步技術(shù)（二）》
https://www.yqgqt.org.cn/post/1943634
2、統(tǒng)一坐標(biāo)系
統(tǒng)一坐標(biāo)系包含兩步，一是運動補償，二是傳感器標(biāo)定。
① 運動補償：確保數(shù)據(jù)時效性
運動補償是針對周期性采集數(shù)據(jù)的傳感器，如激光雷達（LiDAR），其數(shù)據(jù)采集周期可能長達100毫秒。由于車輛在運動，采集周期的開始和結(jié)束時刻，車輛的位置已經(jīng)發(fā)生了變化。這就需要對采集的數(shù)據(jù)進行運動補償，以確保數(shù)據(jù)反映的是車輛在某一固定時刻的環(huán)境狀態(tài)。
展開 電磁式傳感器有哪些特點，電磁式傳感器提供的數(shù)據(jù)穩(wěn)定性
電磁式傳感器還具備優(yōu)異的穩(wěn)定性和可靠性，無論是在惡劣的工業(yè)環(huán)境中，還是在復(fù)雜的電子系統(tǒng)中，電磁式傳感器都能夠穩(wěn)定地工作，提供準(zhǔn)確、可靠的數(shù)據(jù)。這種穩(wěn)定性和可靠性是電磁式傳感器得以廣泛應(yīng)用的重要保障。
電磁式傳感器是利用電磁效應(yīng)來檢測物理量的裝置。它們可以根據(jù)不同的應(yīng)用場景和需求，分為多種類型，如電流傳感器、位置傳感器、角度傳感器等。每一種傳感器都有其獨特的“感知”能力，能夠準(zhǔn)確捕捉并轉(zhuǎn)換各種物理信號，提供寶貴的數(shù)據(jù)和信息。
電磁式傳感器主要包括電感傳感器、霍爾傳感器和電容傳感器等，電磁式傳感器的特點包括：
（1）高靈敏度：對外界信號的響應(yīng)速度快，檢測精度高。
（2）非接觸式檢測：可以實現(xiàn)對目標(biāo)物的非接觸式檢測，適用于對物體進行遠距離、高速度的檢測。
（3）耐高溫、耐腐蝕：通常能夠耐受高溫和腐蝕的環(huán)境，具有較好的耐用性。
（4）節(jié)能省電：工作時消耗電能較少，能夠節(jié)省能源。
（5）工作穩(wěn)定：工作穩(wěn)定可靠，性能持久。
展開 技術(shù)探秘 | 自動駕駛汽車傳感器融合系統(tǒng)，及多傳感器數(shù)據(jù)融合算法淺析
通過對中國路況工況的數(shù)據(jù)采集和處理，廣泛獲取國內(nèi)不同天氣狀況（雨天、雪天、晴天等），不同路況（城市道路、鄉(xiāng)村道路、高速公路等）的真實的環(huán)境數(shù)據(jù)，為深度學(xué)習(xí)提供了可靠的數(shù)據(jù)基礎(chǔ)。
此處神經(jīng)網(wǎng)絡(luò)的輸入層數(shù)據(jù)，也即是傳感器獲取的數(shù)據(jù)，是多源多向的，可以是前擋風(fēng)玻璃片上視覺感知模塊的障礙物位置、形狀、顏色等信息，也可以是毫米波雷達、超聲波雷達檢測的障礙物距離、角度、速度、加速度等信息，還可以是360°環(huán)視系統(tǒng)上采集的車位數(shù)據(jù)、地面減速帶數(shù)據(jù)。
卡爾曼濾波
卡爾曼濾波（Kalman filtering）一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。簡單來說，卡爾曼濾波器是一個“optimal recursive data processing algorithm（最優(yōu)化自回歸數(shù)據(jù)處理算法）”。對于解決很大部分的問題，它是最優(yōu)，效率最高甚至是最有用的。
Kalman濾波在測量方差已知的情況下能夠從一系列存在測量噪聲的數(shù)據(jù)中，估計動態(tài)系統(tǒng)的狀態(tài)。由于，它便于計算機編程實現(xiàn)，并能夠?qū)ΜF(xiàn)場采集的數(shù)據(jù)進行實時的更新和處理， Kalman濾波是目前應(yīng)用最為廣泛的濾波方法，在通信、導(dǎo)航、制導(dǎo)與控制等多領(lǐng)域得到了較好的應(yīng)用。
卡爾曼濾波是多源傳感數(shù)據(jù)融合應(yīng)用的重要手段之一，為了扼要地介紹卡爾曼濾波的原理，此處形象地用毫米波雷達與視覺感知模塊融合目標(biāo)位置的過程描述。
舉一個簡單的例子，目前高級輔助駕駛系統(tǒng)（Advanced Driver Assistance System，ADAS）上，搭載有毫米波雷達和超聲波雷達模塊，兩者均能對障礙物車輛進行有效的位置估計判別。雷達利用主動傳感原理，發(fā)射毫米波，接收障礙物回波，根據(jù)波傳播時間計算角度距離。兩者均能識別出車輛位置，那么我們該如何融合信息，如何取舍，計算出具體的車輛位置呢？
展開 康謀技術(shù) | 自動駕駛：揭秘高精度時間同步技術(shù)（二）
比如圖2中，三個傳感器具有不同的采樣頻率，在T1時刻，傳感器2有一個數(shù)據(jù)，此時，我們需要對應(yīng)傳感器1和3的數(shù)據(jù)是多少，就會進行查找。查找的方式就是找對應(yīng)的傳感器數(shù)據(jù)和傳感器2時間差最近的數(shù)據(jù)包。如果查找的數(shù)據(jù)包時間和T1時刻傳感器2數(shù)據(jù)包的差距較大，在加上車身和障礙物都在移動，這樣誤差會比較大。
圖2：傳感器時間戳
三、硬件同步
硬件同步是一種通過物理信號來確保不同傳感器數(shù)據(jù)采集時間一致性的方法。自動駕駛上使用的相機（Rolling Shutter）一般是支持外部觸發(fā)曝光的。激光雷達通常支持兩種時間同步接口，基于PTP時間同步和PPS+NMEA協(xié)議。因此，一種常見的硬件同步方法是使用PPS信號作為觸發(fā)器。PPS信號是一個精確的時鐘信號，可以觸發(fā)傳感器在特定的時間點采集數(shù)據(jù)。
例如，激光雷達和相機可以配置為在PPS信號的上升沿采集數(shù)據(jù)，從而確保兩者的數(shù)據(jù)采集是同步的。具體來說，激光雷達可以利用其相位鎖定功能來實現(xiàn)與PPS信號的同步，如圖3所示。通過設(shè)置激光雷達的相位鎖定角度與相機視野的中心對齊，可以在激光雷達的激光束旋轉(zhuǎn)到特定角度時觸發(fā)相機，實現(xiàn)兩者的同步采集。
圖3：激光雷達與相機時間同步觸發(fā)
當(dāng)然，由于激光雷達是連續(xù)旋轉(zhuǎn)采集數(shù)據(jù)，而相機則是瞬間曝光，所以硬件同步只能近似實現(xiàn)。例如，激光雷達的幀率若是10Hz，那么一幀點云中最早和最晚采集的點之間的時間差可能達到100ms。相機由于曝光是瞬時的，其所有像素點的采集時刻是一致的。因此，對于相機視野中心的點云，采集時間與圖像采集時間一致，但對于視野邊緣的點云，存在一定的時間偏差，這個偏差可能在5ms到20ms之間。
三、軟件同步
軟件同步是一種在數(shù)據(jù)處理階段對傳感器數(shù)據(jù)進行時間校正的方法。
展開 基于電阻仿真的無線傳感器風(fēng)能采集方法研究
如圖3所示,最大電功率PMTTP可以在風(fēng)力發(fā)電機匹配負載阻抗為100Ω被采集,它本質(zhì)上也就是式(2)所定義的最優(yōu)阻抗值Ropt。結(jié)果表明,當(dāng)負載阻抗與微型風(fēng)機最優(yōu)輸出阻抗產(chǎn)生偏移時,無論是輕負荷還是重負荷,都會使微型風(fēng)機的輸出電功率顯著下降。
圖2 輸出電流與電壓曲線
圖3 輸出功率與負載電阻曲線
3 風(fēng)能采集系統(tǒng)的的最優(yōu)功率管理單元
功率管理單元在源阻抗(微型風(fēng)機)和負載阻抗(超級電容器、功率管理單元以及傳感器節(jié)點)之間提供適當(dāng)?shù)钠ヅ?以實現(xiàn)WEH系統(tǒng)的高功率轉(zhuǎn)換效率并采集更多電能。MPPT技術(shù)[13,14,15,16]非常普遍地在大規(guī)模能源領(lǐng)域用于從環(huán)境中采集更多的能量。對于較小的設(shè)備,MPPT的目標(biāo)是既要最大限度地提高傳輸效率也要盡可能地減小MPPT能量消耗,因為在這種情況下,能源供應(yīng)是稀缺的。這些微小的無處不在的無線傳感器體積往往需要很小,才能使微型風(fēng)機產(chǎn)生的有限電能被使用。因此,MPPT的能量消耗和效率才是無線傳感器風(fēng)能采集系統(tǒng)非常重要的設(shè)計標(biāo)準(zhǔn),而不是MPPT的精度[17]。
根據(jù)文獻[18]可知,MPPT算法可以分為間接和直接的方法。間接方法是基于一個數(shù)據(jù)表的使用,包括各項參數(shù)和數(shù)據(jù)。例如不同的輻射和溫度下太陽能電池板的典型曲線,或者利用從經(jīng)驗數(shù)據(jù)獲得的數(shù)學(xué)函數(shù)來預(yù)估最大功率點。與間接方法需要對太陽能電池板特性的先驗知識相比,直接方法測量了太陽能電池板在給定的運行點上的電壓和電流來計算并獲得實際最大功率。對于本文描述的WEH系統(tǒng),間接方法不適用,因為在功率曲線上沒有單一的電壓或電流點可以用來表示所有的MPPT運行點。至于直接方法,它仍然適用于WEH系統(tǒng)。然而,在迭代振蕩搜索中,它產(chǎn)生了過多的能量損失,對于小規(guī)模的風(fēng)能采集來說,這種情況是非常不可取的。
展開 數(shù)據(jù)分析與AI丨從傳感器到智能決策：數(shù)據(jù)驅(qū)動企業(yè)發(fā)展與 ESG 創(chuàng)新的全鏈路實踐
許多車企工程師在設(shè)計初期需要使用 Altair 的 HyperWorks 或 Feko進行仿真，仿真環(huán)節(jié)必不可少，如對電磁仿真，評估雷達照射后的場強幅值，以確保不會干擾傳感器系統(tǒng)，隨著新能源車的發(fā)展，車身傳感器增加規(guī)模可觀，一旦發(fā)生干擾導(dǎo)致傳感器時效性，會造成車輛安全問題。</p><p class="ql-align-justify">以 Feko 為例，其仿真通常依賴網(wǎng)格計算，場強計算需要時間約在一周左右。但由于傳感器位置往往不落在網(wǎng)格節(jié)點上，工程師不得不反復(fù)重新標(biāo)定 XYZ 坐標(biāo)并提交新的仿真任務(wù)。由于高性能算力資源有限，每個點的計算可能需要 20 分鐘，非常耗時。</p><p><img src="https://mmbiz.qpic.cn/sz_mmbiz_png/EBaibcQicPxgySddksiavBkxiaFrLicZibxnnDMzt3iavKbuyicia5mV9dBd6GTEkGUE1SpT0qib7XlyuSCpia4eh95219XKQ/640?wx_fmt=png&from=appmsg"></p><p class="ql-align-justify">為了解決這一問題，我們與該客戶合作，利用 Altair 的自動化機器學(xué)習(xí)工具 AI Studio，構(gòu)建了無代碼建模流程。客戶已有大量仿真數(shù)據(jù)，例如單輛車產(chǎn)生的 140 萬個 XYZ 點及其對應(yīng)的實部、虛部數(shù)據(jù)。我們基于這些數(shù)據(jù)訓(xùn)練模型，整個流程僅需約 10 分鐘。
展開 
康謀技術(shù) | ADTF: 助力自動駕駛系統(tǒng)開發(fā)的強大工具箱！
在過去十年中，自動駕駛和高級駕駛輔助系統(tǒng)（AD/ADAS）軟件與硬件的快速發(fā)展對多傳感器數(shù)據(jù)采集的設(shè)計需求提出了更高的要求。然而，目前仍缺乏能夠高質(zhì)量集成多傳感器數(shù)據(jù)采集的解決方案。
康謀ADTF正是應(yīng)運而生，它提供了一個廣受認可和廣泛引用的軟件框架，包含模塊化的標(biāo)準(zhǔn)化應(yīng)用程序和工具，旨在為ADAS功能的開發(fā)提供一站式體驗。
一、ADTF的關(guān)鍵之處！
無論是奧迪、大眾、寶馬還是梅賽德斯-奔馳：他們都依賴我們不斷發(fā)展的ADTF來開發(fā)智能駕駛輔助解決方案，直至實現(xiàn)自動駕駛的目標(biāo)。從新功能的最初構(gòu)思到批量生產(chǎn)的準(zhǔn)備，為每一行代碼編寫奠定了基礎(chǔ)。
ADTF軟件框架在汽車行業(yè)中扮演著至關(guān)重要的角色，主要體現(xiàn)在以下幾個方面：
1. 最大數(shù)據(jù)吞吐量：確保在高負載情況下依然能夠高效處理和傳輸數(shù)據(jù)，為自動駕駛系統(tǒng)提供實時反饋。
2. 高性能實時數(shù)據(jù)分析：支持復(fù)雜算法的實時運行，提升決策精度，增強自動駕駛的安全性。
3. 提高算法測試效率：簡化測試流程，縮短開發(fā)周期，加速產(chǎn)品上市。
4. 即插即用的通用接口和總線：簡化硬件集成過程，促進不同設(shè)備之間的兼容性，降低系統(tǒng)復(fù)雜性。
5. 硬件組件之間的高效通信：確保不同平臺上的所有硬件組件能夠無縫協(xié)作，提升系統(tǒng)整體性能。
6. 集成開源軟件：通過開源解決方案，促進分布式系統(tǒng)的配置與管理，提升靈活性和可擴展性。
7. 廣泛的開源文件庫：支持在FEP、RTI-DDS和ROS2等平臺上離線讀取、寫入和處理數(shù)據(jù)流，便于數(shù)據(jù)的共享和再利用。
8. 多語言SDK支持：C++/JS/QML SDK為客戶提供擴展功能的靈活性，使得軟件組件可以在各種仿真集和測試設(shè)置中多樣化應(yīng)用。
9. 云（后）處理工具的構(gòu)建：使開發(fā)者能夠創(chuàng)建高度可擴展的自動化解決方案，滿足未來需求。
10.
展開 直播 | SoMat XR 堅固型數(shù)據(jù)采集器在工程中的應(yīng)用
課程主題：SoMat XR 堅固型數(shù)據(jù)采集器在工程中的應(yīng)用
課程大綱：
SoMat XR 系統(tǒng)介紹
SoMat XR 工程應(yīng)用
?車輛道路載荷譜數(shù)據(jù)采集
?工程機械分布式數(shù)據(jù)采集
?數(shù)采在道路模擬試驗中的應(yīng)用
直播時間：3月10日【周三】20:00-21:00
講師介紹
郜鵬
高級技術(shù)工程師/10年工作經(jīng)驗
上海山外山機電工程科技有限公司
傳感器融合-數(shù)據(jù)篇（自動駕駛）
作者 | 黃浴
來源 | 知乎@黃浴(https://zhuanlan.zhihu.com/p/109895639)
自動駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層（這里的討論范圍），還可以是任務(wù)層像障礙物檢測（obstacle detection），車道線檢測（lane detection），分割（segmentation）和跟蹤（tracking）以及車輛自身定位（localization）等。
有些傳感器之間很難在底層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因為毫米波雷達的目標(biāo)分辨率很低（無法確定目標(biāo)大小和輪廓），但可以在高層上探索融合，比如目標(biāo)速度估計，跟蹤的軌跡等等。
這里主要介紹一下激光雷達和攝像頭的數(shù)據(jù)融合，實際是激光雷達點云投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結(jié)合，理論上可以將圖像估計的深度反投到3-D空間形成點云和激光雷達的點云融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點云分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。
這種融合的思路非常明確：一邊兒圖像傳感器成本低，分辨率高（可以輕松達到2K-4K）；另一邊兒激光雷達成本高，分辨率低，深度探測距離短。可是，激光雷達點云測距精確度非常高，測距遠遠大于那些Infrared/TOF depth sensor，對室外環(huán)境的抗干擾能力也強，同時圖像作為被動視覺系統(tǒng)的主要傳感器，深度估計精度差，更麻煩的是穩(wěn)定性和魯棒性差。所以，能不能把激光雷達的稀疏深度數(shù)據(jù)和致密的圖像深度數(shù)據(jù)結(jié)合，形成互補？
展開 自動駕駛多傳感器數(shù)據(jù)融合方法
一、摘要
近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。
不同傳感器在進行同一實驗任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。
大多數(shù)先進的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數(shù)據(jù)融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進行概率預(yù)測，實現(xiàn)端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數(shù)據(jù)的特征，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大，對設(shè)備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態(tài)的數(shù)據(jù)進行特征提取，并對特征圖進行融合操作后輸入到目標(biāo)任務(wù)中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構(gòu)建兩個子網(wǎng)絡(luò)進行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實現(xiàn)了自動駕駛場景下高精度的三維物體檢測。
展開 