自動(dòng)駕駛感知數(shù)據(jù)集
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2026-01-05
自動(dòng)駕駛感知數(shù)據(jù)集的視頻教程
自動(dòng)駕駛感知仿真與驗(yàn)證之毫米波雷達(dá)
適用人群：自動(dòng)駕駛相關(guān)（汽車(chē)整車(chē)廠，傳感器供應(yīng)商等）行業(yè)人士 無(wú)人駕駛雷達(dá)天線設(shè)計(jì)流程與場(chǎng)景動(dòng)態(tài)模擬【已結(jié)束】 直播時(shí)間：2019-12-19 20:00 如今，無(wú)人駕駛/自動(dòng)駕駛正在迅速發(fā)展，在自動(dòng)駕駛中最關(guān)鍵的雷達(dá)感知領(lǐng)域涉及多種雷達(dá)形式，如激光雷達(dá)、攝像頭、微波雷達(dá)等。
免費(fèi) 1小時(shí)26分鐘 517播放
查看
仿真技術(shù)之自動(dòng)駕駛感知視界-ANSYS傳感器仿真（攝像頭和激光雷達(dá)）
ANSYS自動(dòng)駕駛系列Webinar，結(jié)合自動(dòng)駕駛系統(tǒng)的研發(fā)講述ANSYS工具如何助力自動(dòng)駕駛的開(kāi)發(fā)驗(yàn)證，本期重點(diǎn)為ANSYS自動(dòng)駕駛解決方案之傳感器仿真（攝像頭和激光雷達(dá)）。
免費(fèi) 1小時(shí)24分鐘 423播放
查看
自動(dòng)駕駛感知數(shù)據(jù)集的實(shí)例教程
現(xiàn)在自動(dòng)駕駛車(chē)輛傳感器的布置五花八門(mén)，各家有各家的方案。
那假設(shè)我有一個(gè)傳感器配置的車(chē)輛，我現(xiàn)在去采集了很多感知場(chǎng)景的數(shù)據(jù)，
這些數(shù)據(jù)這樣能變現(xiàn)呢？是否有公司需要數(shù)據(jù)來(lái)訓(xùn)練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數(shù)據(jù)他可以用來(lái)訓(xùn)練他的算法嗎？
在自動(dòng)駕駛技術(shù)中，軟件系統(tǒng)是最具有技術(shù)壁壘的領(lǐng)域之一。近年來(lái)，國(guó)內(nèi)外成立了不少自動(dòng)駕駛創(chuàng)業(yè)公司，花費(fèi)了大量人力物力投入到自動(dòng)駕駛軟件系統(tǒng)的開(kāi)發(fā)中，每一行代碼、每一個(gè)專(zhuān)利，都是它們未來(lái)競(jìng)爭(zhēng)的底氣和資本。可以說(shuō)，自動(dòng)駕駛軟件系統(tǒng)是上述公司最核心的資產(chǎn)之一。
百度是國(guó)內(nèi)最早投入自動(dòng)駕駛技術(shù)研發(fā)的公司之一。Apollo是百度發(fā)布的向汽車(chē)行業(yè)及自動(dòng)駕駛領(lǐng)域合作伙伴提供的軟件平臺(tái)，不僅在全球各種權(quán)威自動(dòng)駕駛榜單中成績(jī)斐然，也在商業(yè)化推進(jìn)上有著驚人的速度。下圖是Apollo開(kāi)源項(xiàng)目的系統(tǒng)架構(gòu)。
圖1. Apollo 6.0 Architecture，
來(lái)源：Apollo項(xiàng)目GitHub
地址：https://github.com/ApolloAuto/apollo
簡(jiǎn)單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開(kāi)源軟件平臺(tái)，它是圖中位于右側(cè)的各個(gè)子模塊的總稱(chēng)。RTOS（real-time operating system）是實(shí)時(shí)操作系統(tǒng)，實(shí)時(shí)性是它的最大特征，它為上層功能模塊的高效執(zhí)行提供底層環(huán)境。
Map Engine是地圖引擎，在軟件中負(fù)責(zé)獲取各類(lèi)地圖數(shù)據(jù)，并提供相應(yīng)的地圖數(shù)據(jù)功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車(chē)周?chē)h(huán)境信息的功能模塊，負(fù)責(zé)將各類(lèi)傳感器收集到的數(shù)據(jù)進(jìn)行加工和處理，用結(jié)構(gòu)化的結(jié)果來(lái)描述汽車(chē)周?chē)膱?chǎng)景。Planning是規(guī)劃模塊，負(fù)責(zé)對(duì)結(jié)構(gòu)化的場(chǎng)景信息進(jìn)行下一步的處理，通過(guò)計(jì)算得到一條安全可通行的路徑。
展開(kāi) 這和在真實(shí)算法研發(fā)中面對(duì)的數(shù)據(jù)困境有很大關(guān)系。
輕舟智航自動(dòng)駕駛車(chē)輛傳感器方案
以輕舟智航自動(dòng)駕駛車(chē)的硬件配置為例，它的傳感器通常包括了激光雷達(dá)、相機(jī)、毫米波雷達(dá)、IMU、GPS等，其中激光雷達(dá)和相機(jī)往往有多個(gè)。統(tǒng)計(jì)發(fā)現(xiàn)平均每天一輛自動(dòng)駕駛的車(chē)輛產(chǎn)生4TB的數(shù)據(jù)，但只有不到5%的數(shù)據(jù)最終用于開(kāi)發(fā)端，其中被用作最終標(biāo)注來(lái)進(jìn)行模型訓(xùn)練的更是少之又少，而這只是一輛車(chē)的數(shù)據(jù)情況。考慮到整個(gè)無(wú)人駕駛產(chǎn)業(yè)，像輕舟智航這樣的無(wú)人駕駛的公司，自動(dòng)駕駛車(chē)隊(duì)在不斷擴(kuò)張，面臨嚴(yán)重的數(shù)據(jù)挖掘和利用的問(wèn)題。
如下圖，是數(shù)據(jù)挖掘和標(biāo)注中的常見(jiàn)的一些難題：
自動(dòng)駕駛場(chǎng)景下數(shù)據(jù)挖掘和標(biāo)注中的常見(jiàn)難題
例如（a）圖是展示的全景分割的圖像，統(tǒng)計(jì)發(fā)現(xiàn)對(duì)全景分割復(fù)雜的場(chǎng)景，比如大于50個(gè)物體的時(shí)候，僅僅對(duì)一幅圖像進(jìn)行精細(xì)的像素級(jí)標(biāo)注，就需要超過(guò)數(shù)十分鐘的時(shí)間，如果對(duì)一個(gè)自動(dòng)駕駛車(chē)隊(duì)的所有數(shù)據(jù)進(jìn)行標(biāo)注，將會(huì)是特別耗費(fèi)人力、財(cái)力的事情。
（b）圖表示的是在點(diǎn)云中進(jìn)行3D的標(biāo)注，包括所感興趣的物體的3D位置、大小和朝向的信息。在點(diǎn)云中進(jìn)行標(biāo)注是非常困難的，經(jīng)常會(huì)出現(xiàn)錯(cuò)誤，而且非常費(fèi)時(shí)。
（a）和（b）雖然比較困難，但是還是比較可行的，但是對(duì)于有些任務(wù)，例如（c）圖所示的通過(guò)單目相機(jī)或者是多幀進(jìn)行深度估計(jì)或者光流估計(jì)，甚至幾乎沒(méi)辦法提供標(biāo)注。
（d）圖展示的是感知數(shù)據(jù)中的分布情況，是很明顯的長(zhǎng)尾分布。這意味著標(biāo)注的數(shù)據(jù)，很大程度上是在重復(fù)一些比較常見(jiàn)或者是比較簡(jiǎn)單的一些情況。而對(duì)于真正困難和少見(jiàn)的數(shù)據(jù)，一般情況下標(biāo)注的效率是非常低的。
展開(kāi) 簡(jiǎn)介
多模態(tài)融合是感知自動(dòng)駕駛系統(tǒng)的重要任務(wù)。本文將詳細(xì)闡述基于多模態(tài)的自動(dòng)駕駛感知方法。包括LiDAR 和相機(jī)在內(nèi)的解決對(duì)象檢測(cè)和語(yǔ)義分割任務(wù)。
從融合階段的角度，從數(shù)據(jù)級(jí)、特征級(jí)、對(duì)象級(jí)、不對(duì)稱(chēng)融合對(duì)現(xiàn)有的方案進(jìn)行分類(lèi)。此外，本文提出了本領(lǐng)域的挑戰(zhàn)性問(wèn)題并就潛在的研究機(jī)會(huì)進(jìn)行開(kāi)放式討論。
多模態(tài)融合感知的背景
單模態(tài)數(shù)據(jù)的感知存在固有的缺陷，相機(jī)數(shù)據(jù)主要在前視圖的較低位置捕獲。在更復(fù)雜的場(chǎng)景中，物體可能會(huì)被遮擋，給物體檢測(cè)和語(yǔ)義分割帶來(lái)嚴(yán)峻挑戰(zhàn)。
此外，受限于機(jī)械結(jié)構(gòu)，激光雷達(dá)在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機(jī)的互補(bǔ)性使得組合感知方面具有更好的性能。感知任務(wù)包括目標(biāo)檢測(cè)、語(yǔ)義分割、深度補(bǔ)全和預(yù)測(cè)等。我們主要關(guān)注前兩個(gè)任務(wù)。
數(shù)據(jù)格式
相機(jī)提供了豐富的紋理信息的RGB圖像。具體來(lái)說(shuō)，對(duì)于每個(gè)圖像像素為 (u, v)，它有一個(gè)多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機(jī)捕獲的紅色、藍(lán)色、綠色通道或其他手動(dòng)設(shè)計(jì)的特征作為灰度通道。
然而，由于深度信息有限，單目相機(jī)難以提取，因此在 3D 空間中直接檢測(cè)物體相對(duì)具有挑戰(zhàn)性。因此，許多方案使用雙目或立體相機(jī)系統(tǒng)通過(guò)空間和時(shí)間空間來(lái)利用附加信息進(jìn)行 3D 對(duì)象檢測(cè)，例如深度估計(jì)、光流等。
激光雷達(dá)使用激光系統(tǒng)掃描環(huán)境并生成點(diǎn)云。一般來(lái)說(shuō)，大多數(shù)激光雷達(dá)的原始數(shù)據(jù)都是四元數(shù)，如(x, y, z, r)，其中r代表每個(gè)點(diǎn)的反射率。
不同的紋理導(dǎo)致不同的反射率，然而，點(diǎn)的四元數(shù)表示存在冗余或速度缺陷。因此，許多研究人員嘗試將點(diǎn)云轉(zhuǎn)換為體素或 2D 投影，然后再將其饋送到下游模塊。
展開(kāi) 上一期給大家介紹了平臺(tái)的總體方案，本期從“單車(chē)智能”開(kāi)發(fā)及測(cè)試的角度，為各位看官帶來(lái)智能駕駛全量數(shù)據(jù)感知及分析系統(tǒng)。
智能駕駛全量感知數(shù)據(jù)實(shí)時(shí)可視化系統(tǒng)，可實(shí)時(shí)展示車(chē)端各類(lèi)傳感器數(shù)據(jù)，可實(shí)現(xiàn)感知系統(tǒng)自動(dòng)對(duì)標(biāo)，并可感知端獲取各類(lèi)極限場(chǎng)景。包括以下幾部分組成：
智能駕駛數(shù)據(jù)采集分析及可視化系統(tǒng)
提供一套智能駕駛傳感器全量數(shù)據(jù)采集及分析軟硬件系統(tǒng)，傳感器數(shù)據(jù)同步，可實(shí)時(shí)在可視化界面展示各傳感器數(shù)據(jù)。
? 全量數(shù)據(jù)采集
? 定制化傳感器接入
? 遠(yuǎn)程事件監(jiān)控/數(shù)據(jù)傳輸
? 數(shù)據(jù)同步
? 數(shù)據(jù)可視化
? 定制化場(chǎng)景提取
? ADAS功能/測(cè)試信號(hào)分析
真值系統(tǒng)
真值系統(tǒng)，通過(guò)量化真值系統(tǒng)和本車(chē)系統(tǒng)的感知結(jié)果差異可以評(píng)價(jià)標(biāo)注過(guò)程，軟件和模型訓(xùn)練過(guò)程。
展開(kāi) 
自動(dòng)駕駛感知數(shù)據(jù)集的相關(guān)專(zhuān)題、標(biāo)簽、搜索
自動(dòng)駕駛感知數(shù)據(jù)集的最新內(nèi)容
本項(xiàng)目客戶為國(guó)內(nèi)一所智能駕駛為核心研究方向的高校科研團(tuán)隊(duì)。團(tuán)隊(duì)長(zhǎng)期聚焦于自動(dòng)駕駛感知、定位與系統(tǒng)級(jí)驗(yàn)證研究，同時(shí)承擔(dān)研究生教學(xué)與科研平臺(tái)建設(shè)任務(wù)。 在科研與教學(xué)并行推進(jìn)的背景下，客戶希望構(gòu)建一套可持續(xù)擴(kuò)展、可復(fù)用的自動(dòng)駕駛數(shù)據(jù)采集與數(shù)字孿生測(cè)試平臺(tái)，支撐從真實(shí)道路采集到高保真仿真驗(yàn)證的完整研究鏈路。
在此背景下，康謀為其提供了數(shù)采車(chē)系統(tǒng)、無(wú)人駕駛車(chē)輛集成方案以及數(shù)字孿生仿真服務(wù)，幫助客戶打通“
當(dāng)下正是一個(gè)由數(shù)據(jù)驅(qū)動(dòng)的偉大變革時(shí)代。從ADAS到AD，每一次技術(shù)的躍遷都離不開(kāi)海量道路數(shù)據(jù)的采集、標(biāo)注與分析。以圖像數(shù)據(jù)為例，它們是訓(xùn)練和優(yōu)化感知算法、提升系統(tǒng)安全性的寶貴資源。
然而，當(dāng)計(jì)劃將這些數(shù)據(jù)送往異國(guó)研發(fā)團(tuán)隊(duì)時(shí)，數(shù)據(jù)合規(guī)這個(gè)難題便擺在了面前。
一、全球化研發(fā)的數(shù)據(jù)合規(guī)挑戰(zhàn)
對(duì)于任何一個(gè)有全球拓展計(jì)劃的車(chē)企或技術(shù)供應(yīng)商而言，跨國(guó)研發(fā)與測(cè)試通常是不可避免的，例如驗(yàn)證算法在不同交通環(huán)境
01 引言
在端到端自動(dòng)駕駛的研發(fā)競(jìng)賽中，算法的迭代速度遠(yuǎn)超物理世界的測(cè)試能力。單純依賴(lài)路測(cè)不僅成本高昂、周期漫長(zhǎng)，更無(wú)法窮盡決定系統(tǒng)安全性的關(guān)鍵邊緣場(chǎng)景（Corner Cases）。
因此，硬件在環(huán)（HIL）仿真測(cè)試成為唯一的出路。然而，將仿真數(shù)據(jù)閉環(huán)注入域控制器流程中存在諸多技術(shù)難度，特別是高像素相機(jī)原始數(shù)據(jù)，如何無(wú)損、無(wú)延遲地將數(shù)據(jù)灌入對(duì)時(shí)序和信號(hào)要求極為苛刻的域控制器中成為了當(dāng)前調(diào)試
01 引言
隨著自動(dòng)駕駛技術(shù)的飛速發(fā)展，仿真測(cè)試已成為替代成本高昂且充滿風(fēng)險(xiǎn)的道路測(cè)試的關(guān)鍵環(huán)節(jié)。它能夠在虛擬環(huán)境中模擬各種復(fù)雜的交通場(chǎng)景和極端天氣，極大地加速了自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)與驗(yàn)證進(jìn)程。然而，一個(gè)常被忽視的問(wèn)題正悄然侵蝕著仿真測(cè)試的可信度——非確定性，即仿真測(cè)試過(guò)程中因核心引擎或其他因素導(dǎo)致的隨機(jī)性。
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件
該合作使OEM廠商和一級(jí)供應(yīng)商能夠可靠地評(píng)估和驗(yàn)證 ADAS/AV 功能在各種天氣和照明條件下的性能
主要亮點(diǎn)
Ansys AVxcelerate Sensors?自動(dòng)駕駛汽車(chē)（AV）傳感器仿真軟件，可實(shí)現(xiàn)面向基于場(chǎng)景的感知測(cè)試的實(shí)時(shí)多光譜攝像頭仿真
利用AVxcelerate Sensors和索尼的高動(dòng)態(tài)范圍（HDR）圖像傳感器模型，OEM廠商可以測(cè)試高級(jí)駕駛輔助系統(tǒng)（ADAS
<h1><strong>一、導(dǎo)讀</strong></h1><p>對(duì)于數(shù)據(jù)的存儲(chǔ)落盤(pán)來(lái)說(shuō)，占據(jù)絕大部分存儲(chǔ)空間的數(shù)據(jù)來(lái)自于相機(jī)傳感器，特別是當(dāng)前的數(shù)采需求可能需要6-8個(gè)800M像素的相機(jī)采集，進(jìn)行RAW數(shù)據(jù)落盤(pán)。舉個(gè)例子，在以非RAW格式，比如YUV422 8bits，在3840×2160（800M）分辨率下以30fps進(jìn)行拍攝：3840 × 2160 ×&
一、摘要
近年來(lái)，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計(jì)算機(jī)視覺(jué)、語(yǔ)音、自然語(yǔ)言處理等方面，并且開(kāi)始涉及更大、更復(fù)雜的多模態(tài)信息問(wèn)題。
不同傳感器在進(jìn)行同一實(shí)驗(yàn)任務(wù)時(shí)，針對(duì)產(chǎn)生的同一現(xiàn)象進(jìn)行觀測(cè)，采集的數(shù)據(jù)構(gòu)成被測(cè)對(duì)象的多模態(tài)信息。多模態(tài)信息可以實(shí)現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實(shí)現(xiàn)比單一模態(tài)更好的性能。
在自動(dòng)駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車(chē)輛上的多個(gè)傳感器
隨著智能駕駛技術(shù)的普遍應(yīng)用，智能駕駛相關(guān)的測(cè)試測(cè)量方法也隨之發(fā)展。特別是模擬仿真測(cè)試領(lǐng)域，在智能駕駛產(chǎn)品開(kāi)發(fā)過(guò)程中的應(yīng)用越來(lái)越廣泛。而無(wú)論是自動(dòng)駕駛（AD）還是高級(jí)輔助駕駛系統(tǒng)（ADAS），都是依靠高精度攝像頭、毫米波雷達(dá)、激光雷達(dá)等感知傳感器對(duì)車(chē)輛周邊環(huán)境進(jìn)行感知識(shí)別來(lái)實(shí)現(xiàn)的。那么在自動(dòng)駕駛系統(tǒng)模擬仿真測(cè)試實(shí)施過(guò)程中，系統(tǒng)中感知傳感器是如何進(jìn)行實(shí)物仿真測(cè)試驗(yàn)證的呢。
本文對(duì)自動(dòng)駕駛系統(tǒng)中感知傳感器實(shí)物仿真測(cè)試環(huán)境構(gòu)建的原理及其相關(guān)方案進(jìn)行介紹
現(xiàn)在自動(dòng)駕駛車(chē)輛傳感器的布置五花八門(mén)，各家有各家的方案。
那假設(shè)我有一個(gè)傳感器配置的車(chē)輛，我現(xiàn)在去采集了很多感知場(chǎng)景的數(shù)據(jù)，
這些數(shù)據(jù)這樣能變現(xiàn)呢？是否有公司需要數(shù)據(jù)來(lái)訓(xùn)練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數(shù)據(jù)他可以用來(lái)訓(xùn)練他的算法嗎？
來(lái)源 | 自動(dòng)駕駛干貨鋪、智車(chē)科技
導(dǎo)讀：多模態(tài)融合是感知自動(dòng)駕駛系統(tǒng)的重要任務(wù)。本文將詳細(xì)闡述基于多模態(tài)的自動(dòng)駕駛感知方法。包括LiDAR 和相機(jī)在內(nèi)的解決對(duì)象檢測(cè)和語(yǔ)義分割任務(wù)。
從融合階段的角度，從數(shù)據(jù)級(jí)、特征級(jí)、對(duì)象級(jí)、不對(duì)稱(chēng)融合對(duì)現(xiàn)有的方案進(jìn)行分類(lèi)。此外，本文提出了本領(lǐng)域的挑戰(zhàn)性問(wèn)題并就潛在的研究機(jī)會(huì)進(jìn)行開(kāi)放式討論。
多模態(tài)融合感知的背景
