自動(dòng)駕駛感知數(shù)據(jù)閉環(huán)的案例
自動(dòng)駕駛感知數(shù)據(jù)閉環(huán)簡(jiǎn)析
在自動(dòng)駕駛技術(shù)中，軟件系統(tǒng)是最具有技術(shù)壁壘的領(lǐng)域之一。近年來，國(guó)內(nèi)外成立了不少自動(dòng)駕駛創(chuàng)業(yè)公司，花費(fèi)了大量人力物力投入到自動(dòng)駕駛軟件系統(tǒng)的開發(fā)中，每一行代碼、每一個(gè)專利，都是它們未來競(jìng)爭(zhēng)的底氣和資本。可以說，自動(dòng)駕駛軟件系統(tǒng)是上述公司最核心的資產(chǎn)之一。
百度是國(guó)內(nèi)最早投入自動(dòng)駕駛技術(shù)研發(fā)的公司之一。Apollo是百度發(fā)布的向汽車行業(yè)及自動(dòng)駕駛領(lǐng)域合作伙伴提供的軟件平臺(tái)，不僅在全球各種權(quán)威自動(dòng)駕駛榜單中成績(jī)斐然，也在商業(yè)化推進(jìn)上有著驚人的速度。下圖是Apollo開源項(xiàng)目的系統(tǒng)架構(gòu)。
圖1. Apollo 6.0 Architecture，
來源：Apollo項(xiàng)目GitHub
地址：https://github.com/ApolloAuto/apollo
簡(jiǎn)單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開源軟件平臺(tái)，它是圖中位于右側(cè)的各個(gè)子模塊的總稱。RTOS（real-time operating system）是實(shí)時(shí)操作系統(tǒng)，實(shí)時(shí)性是它的最大特征，它為上層功能模塊的高效執(zhí)行提供底層環(huán)境。
Map Engine是地圖引擎，在軟件中負(fù)責(zé)獲取各類地圖數(shù)據(jù)，并提供相應(yīng)的地圖數(shù)據(jù)功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車周圍環(huán)境信息的功能模塊，負(fù)責(zé)將各類傳感器收集到的數(shù)據(jù)進(jìn)行加工和處理，用結(jié)構(gòu)化的結(jié)果來描述汽車周圍的場(chǎng)景。Planning是規(guī)劃模塊，負(fù)責(zé)對(duì)結(jié)構(gòu)化的場(chǎng)景信息進(jìn)行下一步的處理，通過計(jì)算得到一條安全可通行的路徑。
展開 數(shù)據(jù)閉環(huán)研究：自動(dòng)駕駛發(fā)展從技術(shù)驅(qū)動(dòng)轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)
再比如，Momenta實(shí)現(xiàn)了領(lǐng)先的全流程數(shù)據(jù)驅(qū)動(dòng)的技術(shù)能力，包括感知、融合、預(yù)測(cè)和規(guī)控等算法模塊都可以通過數(shù)據(jù)驅(qū)動(dòng)的方式高效的迭代與更新。其閉環(huán)自動(dòng)化(Closed Loop Automation)是一整套讓數(shù)據(jù)流推動(dòng)數(shù)據(jù)驅(qū)動(dòng)的算法自動(dòng)迭代的工具鏈。CLA能自動(dòng)篩選出海量黃金數(shù)據(jù)，驅(qū)動(dòng)算法的自動(dòng)迭代，讓自動(dòng)駕駛飛輪越轉(zhuǎn)越快。
來源：Momenta
軟件定義汽車背景下，數(shù)據(jù)、算法和算力是自動(dòng)駕駛開發(fā)的三駕馬車。車企研發(fā)周期縮短、功能迭代加速，未來能夠持續(xù)地低成本、高效率、高效能收集數(shù)據(jù)，并通過真實(shí)數(shù)據(jù)迭代算法，最終形成數(shù)據(jù)閉環(huán)及商業(yè)閉環(huán)是自動(dòng)駕駛企業(yè)可持續(xù)發(fā)展的關(guān)鍵所在。
文章來源：佐思汽車研究
免責(zé)聲明：本文系網(wǎng)絡(luò)轉(zhuǎn)載，版權(quán)歸原作者所有。如涉及版權(quán)，請(qǐng)聯(lián)系刪除！
展開 萬字綜述自動(dòng)駕駛數(shù)據(jù)閉環(huán)
來源 |
知乎@黃浴
最近自動(dòng)駕駛和數(shù)據(jù)閉環(huán)結(jié)合在一起成為一大解決方案，原因是自動(dòng)駕駛工程已經(jīng)被認(rèn)可是一個(gè)解決數(shù)據(jù)分布“長(zhǎng)尾問題”的任務(wù)，時(shí)而出現(xiàn)的corner case（極端情況）是對(duì)數(shù)據(jù)驅(qū)動(dòng)的算法模型進(jìn)行升級(jí)的來源之一，如圖所示。
構(gòu)成這個(gè)自動(dòng)駕駛數(shù)據(jù)閉環(huán)的核心技術(shù)和模塊都有哪些呢？首先是這個(gè)自動(dòng)駕駛的算法和模塊是數(shù)據(jù)驅(qū)動(dòng)的，其次源源不斷的數(shù)據(jù)需要有合理有效的方法去利用。
如圖是Tesla眾所周知的Autopilot數(shù)據(jù)引擎框架：確認(rèn)模型誤差、數(shù)據(jù)標(biāo)注和清洗、模型訓(xùn)練和重新部署。
這是谷歌waymo報(bào)告提到的數(shù)據(jù)閉環(huán)平臺(tái)：其中有數(shù)據(jù)挖掘、主動(dòng)學(xué)習(xí)、自動(dòng)標(biāo)注、自動(dòng)化模型調(diào)試優(yōu)化、測(cè)試校驗(yàn)和部署發(fā)布。
如圖是英偉達(dá)公司在自動(dòng)駕駛開發(fā)建立的機(jī)器學(xué)習(xí)平臺(tái)MAGLEV，也是基于閉環(huán)的模型迭代：其中有smart的數(shù)據(jù)選擇、數(shù)據(jù)標(biāo)注、模型搜索、訓(xùn)練、評(píng)估、調(diào)試和部署。
下面對(duì)數(shù)據(jù)閉環(huán)各個(gè)組成部分進(jìn)一步討論：
自動(dòng)駕駛的數(shù)據(jù)驅(qū)動(dòng)模型；
云計(jì)算平臺(tái)的基建和大數(shù)據(jù)處理技術(shù)；
訓(xùn)練數(shù)據(jù)標(biāo)注工具；
大型模型訓(xùn)練平臺(tái)；
模型測(cè)試和檢驗(yàn)；
相關(guān)的機(jī)器學(xué)習(xí)技術(shù)。
1 自動(dòng)駕駛的數(shù)據(jù)驅(qū)動(dòng)模型
應(yīng)該說，自動(dòng)駕駛的算法模塊，基本都是數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練模型要優(yōu)于基于規(guī)則或者優(yōu)化的，尤其是感知和預(yù)測(cè)。
展開 自動(dòng)駕駛感知數(shù)據(jù)
現(xiàn)在自動(dòng)駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設(shè)我有一個(gè)傳感器配置的車輛，我現(xiàn)在去采集了很多感知場(chǎng)景的數(shù)據(jù)，
這些數(shù)據(jù)這樣能變現(xiàn)呢？是否有公司需要數(shù)據(jù)來訓(xùn)練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數(shù)據(jù)他可以用來訓(xùn)練他的算法嗎？
萬字綜述：如何打造自動(dòng)駕駛的數(shù)據(jù)閉環(huán)？
來源 |
黃浴@知乎、汽車電子與軟件
最近自動(dòng)駕駛和數(shù)據(jù)閉環(huán)結(jié)合在一起，原因是自動(dòng)駕駛工程已經(jīng)被認(rèn)可是一個(gè)解決數(shù)據(jù)分布“長(zhǎng)尾問題”的任務(wù)，時(shí)而出現(xiàn)的corner case（極端情況）是對(duì)數(shù)據(jù)驅(qū)動(dòng)的算法模型進(jìn)行升級(jí)的來源之一，如圖所示。
構(gòu)成這個(gè)自動(dòng)駕駛數(shù)據(jù)閉環(huán)的核心技術(shù)和模塊都有哪些呢？首先是這個(gè)自動(dòng)駕駛的算法和模塊是數(shù)據(jù)驅(qū)動(dòng)的，其次源源不斷的數(shù)據(jù)需要有合理有效的方法去利用。
如圖是Tesla眾所周知的Autopilot數(shù)據(jù)引擎框架：確認(rèn)模型誤差、數(shù)據(jù)標(biāo)注和清洗、模型訓(xùn)練和重新部署。
這是谷歌waymo報(bào)告提到的數(shù)據(jù)閉環(huán)平臺(tái)：其中有數(shù)據(jù)挖掘、主動(dòng)學(xué)習(xí)、自動(dòng)標(biāo)注、自動(dòng)化模型調(diào)試優(yōu)化、測(cè)試校驗(yàn)和部署發(fā)布。
如圖是英偉達(dá)公司在自動(dòng)駕駛開發(fā)建立的機(jī)器學(xué)習(xí)平臺(tái)MAGLEV，也是基于閉環(huán)的模型迭代：其中有smart的數(shù)據(jù)選擇、數(shù)據(jù)標(biāo)注、模型搜索、訓(xùn)練、評(píng)估、調(diào)試和部署。
下面對(duì)數(shù)據(jù)閉環(huán)各個(gè)組成部分進(jìn)一步討論：
自動(dòng)駕駛的數(shù)據(jù)驅(qū)動(dòng)模型；
云計(jì)算平臺(tái)的基建和大數(shù)據(jù)處理技術(shù)；
訓(xùn)練數(shù)據(jù)標(biāo)注工具；
大型模型訓(xùn)練平臺(tái)；
模型測(cè)試和檢驗(yàn)；
相關(guān)的機(jī)器學(xué)習(xí)技術(shù)。
展開 從數(shù)據(jù)到模型：實(shí)現(xiàn)自動(dòng)駕駛高效感知
這和在真實(shí)算法研發(fā)中面對(duì)的數(shù)據(jù)困境有很大關(guān)系。
輕舟智航自動(dòng)駕駛車輛傳感器方案
以輕舟智航自動(dòng)駕駛車的硬件配置為例，它的傳感器通常包括了激光雷達(dá)、相機(jī)、毫米波雷達(dá)、IMU、GPS等，其中激光雷達(dá)和相機(jī)往往有多個(gè)。統(tǒng)計(jì)發(fā)現(xiàn)平均每天一輛自動(dòng)駕駛的車輛產(chǎn)生4TB的數(shù)據(jù)，但只有不到5%的數(shù)據(jù)最終用于開發(fā)端，其中被用作最終標(biāo)注來進(jìn)行模型訓(xùn)練的更是少之又少，而這只是一輛車的數(shù)據(jù)情況。考慮到整個(gè)無人駕駛產(chǎn)業(yè)，像輕舟智航這樣的無人駕駛的公司，自動(dòng)駕駛車隊(duì)在不斷擴(kuò)張，面臨嚴(yán)重的數(shù)據(jù)挖掘和利用的問題。
如下圖，是數(shù)據(jù)挖掘和標(biāo)注中的常見的一些難題：
自動(dòng)駕駛場(chǎng)景下數(shù)據(jù)挖掘和標(biāo)注中的常見難題
例如（a）圖是展示的全景分割的圖像，統(tǒng)計(jì)發(fā)現(xiàn)對(duì)全景分割復(fù)雜的場(chǎng)景，比如大于50個(gè)物體的時(shí)候，僅僅對(duì)一幅圖像進(jìn)行精細(xì)的像素級(jí)標(biāo)注，就需要超過數(shù)十分鐘的時(shí)間，如果對(duì)一個(gè)自動(dòng)駕駛車隊(duì)的所有數(shù)據(jù)進(jìn)行標(biāo)注，將會(huì)是特別耗費(fèi)人力、財(cái)力的事情。
（b）圖表示的是在點(diǎn)云中進(jìn)行3D的標(biāo)注，包括所感興趣的物體的3D位置、大小和朝向的信息。在點(diǎn)云中進(jìn)行標(biāo)注是非常困難的，經(jīng)常會(huì)出現(xiàn)錯(cuò)誤，而且非常費(fèi)時(shí)。
（a）和（b）雖然比較困難，但是還是比較可行的，但是對(duì)于有些任務(wù)，例如（c）圖所示的通過單目相機(jī)或者是多幀進(jìn)行深度估計(jì)或者光流估計(jì)，甚至幾乎沒辦法提供標(biāo)注。
（d）圖展示的是感知數(shù)據(jù)中的分布情況，是很明顯的長(zhǎng)尾分布。這意味著標(biāo)注的數(shù)據(jù)，很大程度上是在重復(fù)一些比較常見或者是比較簡(jiǎn)單的一些情況。而對(duì)于真正困難和少見的數(shù)據(jù)，一般情況下標(biāo)注的效率是非常低的。
展開 自動(dòng)駕駛行業(yè)觀察 | 自動(dòng)駕駛多模態(tài)融合感知詳解（研究現(xiàn)狀及挑戰(zhàn)）
簡(jiǎn)介
多模態(tài)融合是感知自動(dòng)駕駛系統(tǒng)的重要任務(wù)。本文將詳細(xì)闡述基于多模態(tài)的自動(dòng)駕駛感知方法。包括LiDAR 和相機(jī)在內(nèi)的解決對(duì)象檢測(cè)和語義分割任務(wù)。
從融合階段的角度，從數(shù)據(jù)級(jí)、特征級(jí)、對(duì)象級(jí)、不對(duì)稱融合對(duì)現(xiàn)有的方案進(jìn)行分類。此外，本文提出了本領(lǐng)域的挑戰(zhàn)性問題并就潛在的研究機(jī)會(huì)進(jìn)行開放式討論。
多模態(tài)融合感知的背景
單模態(tài)數(shù)據(jù)的感知存在固有的缺陷，相機(jī)數(shù)據(jù)主要在前視圖的較低位置捕獲。在更復(fù)雜的場(chǎng)景中，物體可能會(huì)被遮擋，給物體檢測(cè)和語義分割帶來嚴(yán)峻挑戰(zhàn)。
此外，受限于機(jī)械結(jié)構(gòu)，激光雷達(dá)在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機(jī)的互補(bǔ)性使得組合感知方面具有更好的性能。感知任務(wù)包括目標(biāo)檢測(cè)、語義分割、深度補(bǔ)全和預(yù)測(cè)等。我們主要關(guān)注前兩個(gè)任務(wù)。
數(shù)據(jù)格式
相機(jī)提供了豐富的紋理信息的RGB圖像。具體來說，對(duì)于每個(gè)圖像像素為 (u, v)，它有一個(gè)多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機(jī)捕獲的紅色、藍(lán)色、綠色通道或其他手動(dòng)設(shè)計(jì)的特征作為灰度通道。
然而，由于深度信息有限，單目相機(jī)難以提取，因此在 3D 空間中直接檢測(cè)物體相對(duì)具有挑戰(zhàn)性。因此，許多方案使用雙目或立體相機(jī)系統(tǒng)通過空間和時(shí)間空間來利用附加信息進(jìn)行 3D 對(duì)象檢測(cè)，例如深度估計(jì)、光流等。
激光雷達(dá)使用激光系統(tǒng)掃描環(huán)境并生成點(diǎn)云。一般來說，大多數(shù)激光雷達(dá)的原始數(shù)據(jù)都是四元數(shù)，如(x, y, z, r)，其中r代表每個(gè)點(diǎn)的反射率。
不同的紋理導(dǎo)致不同的反射率，然而，點(diǎn)的四元數(shù)表示存在冗余或速度缺陷。因此，許多研究人員嘗試將點(diǎn)云轉(zhuǎn)換為體素或 2D 投影，然后再將其饋送到下游模塊。
展開 如何閉環(huán)自動(dòng)駕駛仿真場(chǎng)景，實(shí)現(xiàn)從“重建”到“可用”？
另外依托共享代碼庫的射線 - 高斯交互邏輯，能更真實(shí)地計(jì)算激光射線與場(chǎng)景高斯的碰撞、反射，為自動(dòng)駕駛系統(tǒng)的功能測(cè)試與極限場(chǎng)景驗(yàn)證提供了極為可靠的數(shù)據(jù)支持，成功打通了從數(shù)據(jù)采集到場(chǎng)景重建再到仿真驗(yàn)證的完整閉環(huán)。
四、結(jié)論
aiSim的3DGS 方案通過全流程技術(shù)創(chuàng)新，構(gòu)建起 “數(shù)據(jù)標(biāo)準(zhǔn)化 - 場(chǎng)景高保真 - 仿真全覆蓋” 的價(jià)值閉環(huán)，打通 3DGS 從技術(shù)潛力到工程實(shí)用的轉(zhuǎn)化路徑。
從痛點(diǎn)解決來看，方案以 aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同，解決了 3DGS 輸入 “碎片化” 難題；通過 T-S 結(jié)構(gòu)融合 NeRF 與 3DGS 優(yōu)勢(shì)，結(jié)合 LiDAR 深度約束，實(shí)現(xiàn)場(chǎng)景幾何與外觀的精準(zhǔn)重建；再經(jīng) DEVIANT 算法（幾何精度校驗(yàn)）與 Mask2Former 算法（像素語義對(duì)齊）雙重驗(yàn)證，確保重建場(chǎng)景與真實(shí)環(huán)境 “形神一致”，同時(shí)依托 GGSR 渲染器平衡高效渲染與高保真需求，讓 3DGS 真正適配自動(dòng)駕駛仿真的嚴(yán)苛要求。
從應(yīng)用價(jià)值來看，方案不僅提供了從真實(shí)場(chǎng)景到數(shù)字孿生的高效映射，更通過場(chǎng)景編輯工具支持極端天氣、虛擬交通流、多模態(tài)傳感器的靈活配置，讓單一場(chǎng)景衍生出多樣化測(cè)試工況。這種 “數(shù)據(jù) - 場(chǎng)景 - 測(cè)試” 的閉環(huán)能力，既降低了對(duì)真實(shí)路測(cè)的依賴，又為自動(dòng)駕駛算法迭代提供了高可信度的仿真環(huán)境。
展開 經(jīng)緯恒潤(rùn)智能駕駛開發(fā)、測(cè)試評(píng)估平臺(tái)——智能駕駛全量數(shù)據(jù)感知及分析系統(tǒng)
上一期給大家介紹了平臺(tái)的總體方案，本期從“單車智能”開發(fā)及測(cè)試的角度，為各位看官帶來智能駕駛全量數(shù)據(jù)感知及分析系統(tǒng)。
智能駕駛全量感知數(shù)據(jù)實(shí)時(shí)可視化系統(tǒng)，可實(shí)時(shí)展示車端各類傳感器數(shù)據(jù)，可實(shí)現(xiàn)感知系統(tǒng)自動(dòng)對(duì)標(biāo)，并可感知端獲取各類極限場(chǎng)景。包括以下幾部分組成：
智能駕駛數(shù)據(jù)采集分析及可視化系統(tǒng)
提供一套智能駕駛傳感器全量數(shù)據(jù)采集及分析軟硬件系統(tǒng)，傳感器數(shù)據(jù)同步，可實(shí)時(shí)在可視化界面展示各傳感器數(shù)據(jù)。
? 全量數(shù)據(jù)采集
? 定制化傳感器接入
? 遠(yuǎn)程事件監(jiān)控/數(shù)據(jù)傳輸
? 數(shù)據(jù)同步
? 數(shù)據(jù)可視化
? 定制化場(chǎng)景提取
? ADAS功能/測(cè)試信號(hào)分析
真值系統(tǒng)
真值系統(tǒng)，通過量化真值系統(tǒng)和本車系統(tǒng)的感知結(jié)果差異可以評(píng)價(jià)標(biāo)注過程，軟件和模型訓(xùn)練過程。
展開 自動(dòng)駕駛的視覺感知包括哪些內(nèi)容？
出廠標(biāo)定
但是自動(dòng)駕駛做前裝量產(chǎn)，由于批量生產(chǎn)的緣故，無法一輛輛使用標(biāo)定板做標(biāo)定，而是構(gòu)建一個(gè)場(chǎng)地用于車輛出廠時(shí)標(biāo)定，如下圖所示：
2. 在線標(biāo)定
另外考慮到車輛運(yùn)行一段時(shí)間或者在顛簸的過程中攝像頭位置的偏移，感知系統(tǒng)中也有在線標(biāo)定的模型，常利用消失點(diǎn)或車道線等檢測(cè)得到的信息實(shí)時(shí)更新俯仰角的變化。
數(shù)據(jù)標(biāo)注
自然道路場(chǎng)景存在各種各樣的突發(fā)狀況，所以需要采集大量的實(shí)車數(shù)據(jù)用來訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作，其中感知系統(tǒng)需要檢測(cè)的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級(jí)標(biāo)注和像素級(jí)標(biāo)注：
目標(biāo)級(jí)標(biāo)注如下圖：
像素級(jí)標(biāo)注如下圖：
由于感知系統(tǒng)中的檢測(cè)和分割任務(wù)常采用深度學(xué)習(xí)的方式實(shí)現(xiàn)，而深度學(xué)習(xí)是一項(xiàng)數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，所以需要大量的數(shù)據(jù)和標(biāo)注信息進(jìn)行迭代。為了提高標(biāo)注的效率，可以采用半自動(dòng)的標(biāo)注方式，通過在標(biāo)注工具中嵌入一個(gè)神經(jīng)網(wǎng)絡(luò)用于提供一份初始標(biāo)注，然后人工修正，并且在一段時(shí)間后加載新增數(shù)據(jù)和標(biāo)簽進(jìn)行迭代循環(huán)。
功能劃分
視覺感知可以分為多個(gè)功能模塊，如目標(biāo)檢測(cè)跟蹤、目標(biāo)測(cè)量、可通行區(qū)域、車道線檢測(cè)、靜態(tài)物體檢測(cè)等。
1.
展開 自動(dòng)駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對(duì)這兩種感知任務(wù)做了詳細(xì)的介紹。
視覺傳感器：2D感知算法
從傳感器的數(shù)量上看，視覺感知系統(tǒng)也分為單目系統(tǒng)，雙目系統(tǒng)，以及多目系統(tǒng)。2D感知任務(wù)通常采用的是單目系統(tǒng)，這也是計(jì)算機(jī)視覺和深度學(xué)習(xí)結(jié)合最緊密的領(lǐng)域。但是自動(dòng)駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學(xué)習(xí)取得成功之前，通常的做法是根據(jù)目標(biāo)的先驗(yàn)大小以及目標(biāo)處于地平面上等假設(shè)來推斷目標(biāo)的深度（距離），或者采用運(yùn)動(dòng)信息進(jìn)行深度估計(jì)（Motion Stereo）。有了深度學(xué)習(xí)的助力之后，從大數(shù)據(jù)集中學(xué)習(xí)場(chǎng)景線索，并進(jìn)行單目深度估計(jì)成為了可行的方案。但是這種方案非常依賴于模式識(shí)別，而且很難處理數(shù)據(jù)集之外的場(chǎng)景（Corner Case）。比如施工路段的特殊工程車輛，由于數(shù)據(jù)庫中很少出現(xiàn)或者根本沒有此類樣本，視覺傳感器無法準(zhǔn)確檢測(cè)該目標(biāo)，因而也就無法判斷其距離。
雙目系統(tǒng)可以自然的獲得視差，從而估計(jì)障礙物的距離。
這種系統(tǒng)對(duì)模式識(shí)別的依賴度較小，只要能在目標(biāo)上獲得穩(wěn)定的關(guān)鍵點(diǎn)，就可以完成匹配，計(jì)算視差并估計(jì)距離。
但是，雙目系統(tǒng)也有以下缺點(diǎn)。
首先，如果關(guān)鍵點(diǎn)無法獲取，比如在自動(dòng)駕駛中經(jīng)常引發(fā)事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關(guān)鍵點(diǎn)，距離的測(cè)算就會(huì)失敗。
其次，雙目視覺系統(tǒng)對(duì)攝像頭之間的標(biāo)定要求非常高，一般來說都需要有非常精確的在線標(biāo)定功能。
展開 
自動(dòng)駕駛汽車感知系統(tǒng)關(guān)鍵技術(shù)綜述
公安部道路交通安全研究中心 王藝帆
自動(dòng)駕駛汽車是汽車電子、智能控制以及互聯(lián)網(wǎng)等技術(shù)發(fā)展融合的產(chǎn)物，其原理為自動(dòng)駕駛系統(tǒng)利用感知系統(tǒng)，獲取車輛自身以及外界環(huán)境信息，經(jīng)過計(jì)算系統(tǒng)分析信息、做出決策，控制執(zhí)行系統(tǒng)實(shí)現(xiàn)車輛加速、減速或轉(zhuǎn)向，從而在無需駕駛員介入的情況下，完成自動(dòng)行駛。2013年，美國(guó)國(guó)家公路交通安全管理局（NHTSA）根據(jù)輔助控制系統(tǒng)的自動(dòng)化功能，將自動(dòng)駕駛技術(shù)分為0~4級(jí)，如表1所示。從表1可了解到，自動(dòng)駕駛的發(fā)展升級(jí)是從輔助駕駛到主宰駕駛，從提供單一功能、應(yīng)對(duì)簡(jiǎn)單場(chǎng)景，到可掌控所有場(chǎng)合，完全解放駕駛人。期間，感知系統(tǒng)需不斷提高獲取周邊環(huán)境信息的全面性、準(zhǔn)確性和高效性，它是自動(dòng)駕駛的基礎(chǔ)，也是貫穿升級(jí)的核心部分。本文將介紹自動(dòng)駕駛感知系統(tǒng)常用方案，及其各自技術(shù)方法、特點(diǎn)和應(yīng)用情況。
1 系統(tǒng)框架
自動(dòng)駕駛汽車首先應(yīng)有一套完整的感知系統(tǒng)，代替駕駛人的感知，提供周圍環(huán)境信息；其次應(yīng)有一套集智能算法、高性能硬件于一體的控制系統(tǒng)，代替駕駛人的大腦，制定駕駛指令、規(guī)劃行駛路徑；最后還需一套完善縝密的執(zhí)行系統(tǒng)，可以代替駕駛員的手腳動(dòng)作，執(zhí)行駕駛指令、控制車輛狀態(tài)。其中，感知系統(tǒng)應(yīng)包括環(huán)境感知、內(nèi)部感知、駕駛人感知。其中內(nèi)部感知主要是通過CAN總線采集車內(nèi)各電子控制單元信息，以及裝載在車上的各類傳感器實(shí)時(shí)產(chǎn)生的數(shù)據(jù)信息，來獲取車輛狀態(tài)，包括車體（車內(nèi)外溫度、空氣流量、胎壓），動(dòng)力（油壓、轉(zhuǎn)速、機(jī)油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機(jī)交互界面或傳感器獲取駕駛人操控、手勢(shì)、語音等控制指令，以及面部表情等檢測(cè)信息，用來接收控制命令、檢測(cè)駕駛人狀態(tài)。本文介紹的感知系統(tǒng)針對(duì)環(huán)境感知、自動(dòng)駕駛感知系統(tǒng)的關(guān)鍵點(diǎn)和難點(diǎn)，其功能是實(shí)時(shí)獲取周邊物體、行駛路況、導(dǎo)航定位、天氣、停車場(chǎng)等信息。
展開 自動(dòng)駕駛汽車感知測(cè)試
來源 |
智駕社
高階自動(dòng)駕駛系統(tǒng)的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構(gòu)向集中式域控制器架構(gòu)演進(jìn)已經(jīng)成為下一代自動(dòng)駕駛系統(tǒng)不可逆轉(zhuǎn)的趨勢(shì)。對(duì)于下一代集中式域控架構(gòu)下到的自動(dòng)駕駛系統(tǒng)來說，域控制器因?yàn)橛袕?qiáng)大的硬件計(jì)算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內(nèi)，系統(tǒng)功能集成度大大提高，這樣對(duì)于功能的感知與執(zhí)行的硬件要求降低
。但是，
域控制器的出現(xiàn)并不代表底層硬件 ECU 的大規(guī)模消失
，很多 ECU 的功能會(huì)被弱化（軟件和處理功能降級(jí)，執(zhí)行層面功能保留），大部分傳感器也可以直接傳輸數(shù)據(jù)給域控制器，或把數(shù)據(jù)初步處理后給域控制器，很多復(fù)雜計(jì)算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執(zhí)行域控制器的命令，也就是說，外圍零件只關(guān)注本身基本功能，而中央域控制器關(guān)注系統(tǒng)級(jí)功能實(shí)現(xiàn)。此外，數(shù)據(jù)交互的接口標(biāo)準(zhǔn)化，會(huì)讓這些零部件變成標(biāo)準(zhǔn)零件，從而降低這部分零部件開發(fā)/制造成本。
作為自動(dòng)駕駛之眼的攝像頭尤其是這樣，在L2階段，整個(gè)智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環(huán)境信息的軟件算法模塊
，比如ISP、encode、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)單元等AI算法。然而，在下一代高階自動(dòng)駕駛系統(tǒng)中，這些原本由攝像頭模組處理的感知能力將會(huì)被放到域控制器端的AI芯片進(jìn)行集中式處理。那么，問題來了，對(duì)于這類型的自動(dòng)駕駛系統(tǒng)架構(gòu)模式，攝像頭模組本身的需求將會(huì)發(fā)生哪些變化，又會(huì)帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎(chǔ)知識(shí)，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 自動(dòng)駕駛系統(tǒng)中視覺感知模塊的安全測(cè)試
車聯(lián)網(wǎng)領(lǐng)域隨著物聯(lián)網(wǎng)與交通運(yùn)輸領(lǐng)域的深度融合蓬勃發(fā)展．隨著深度學(xué)習(xí)的進(jìn)步,車聯(lián)網(wǎng)領(lǐng)域的自動(dòng)駕駛技術(shù)得到了突破性的發(fā)展,并有演化成一場(chǎng)新的汽車工業(yè)革命的趨勢(shì)．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統(tǒng)車企都陸續(xù)拿到了自動(dòng)駕駛路測(cè)牌照,著眼于研發(fā)深度自動(dòng)駕駛技術(shù)．迅猛發(fā)展的深度自動(dòng)駕駛技術(shù)正逐漸成為車聯(lián)網(wǎng)領(lǐng)域的主要支撐技術(shù)之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動(dòng)駕駛進(jìn)行環(huán)境感知的重要組件,也是車輛進(jìn)行智能決策的重要基礎(chǔ)．自動(dòng)駕駛領(lǐng)域的重要企業(yè)特斯拉更是將視覺感知模塊作為其駕駛系統(tǒng)的唯一環(huán)境感知模塊．因此,自動(dòng)駕駛系統(tǒng)視覺感知模塊的安全性是自動(dòng)駕駛系統(tǒng)正常工作的關(guān)鍵．雖然視覺感知模塊的表現(xiàn)隨著深度視覺技術(shù)的發(fā)展穩(wěn)步提升,但是其從駕駛環(huán)境中感知到的特征語義難被理解、決策過程無法解釋．如何對(duì)自動(dòng)駕駛系統(tǒng)視覺感知模塊的安全性進(jìn)行充分測(cè)試,已經(jīng)成為了一個(gè)迫在眉睫、亟待解決的問題．
誠(chéng)然,圍繞深度學(xué)習(xí)可解釋性方面的工作有了一定的突破,但是距離分析清楚自動(dòng)駕駛視覺感知模塊的錯(cuò)誤傳導(dǎo)機(jī)理還有較遠(yuǎn)的距離．近年來,神經(jīng)網(wǎng)絡(luò)的黑盒攻擊方法的進(jìn)步,啟發(fā)大家提出了一些基于場(chǎng)景搜索的自動(dòng)駕駛視覺感知模塊安全性測(cè)試技術(shù)．這些場(chǎng)景驅(qū)動(dòng)的測(cè)試方法利用黑盒測(cè)試的思路,為駕駛系統(tǒng)提供盡可能多的駕駛場(chǎng)景數(shù)據(jù),觀察自動(dòng)駕駛系統(tǒng)的輸出與測(cè)試預(yù)言(TestOracle)之間的差異,進(jìn)而分析自動(dòng)駕駛系統(tǒng)視覺感知模塊的安全性．
展開 