自動駕駛感知數據集的案例
自動駕駛感知數據
現在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設我有一個傳感器配置的車輛，我現在去采集了很多感知場景的數據，
這些數據這樣能變現呢？是否有公司需要數據來訓練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數據他可以用來訓練他的算法嗎？
自動駕駛感知數據閉環簡析
在自動駕駛技術中，軟件系統是最具有技術壁壘的領域之一。近年來，國內外成立了不少自動駕駛創業公司，花費了大量人力物力投入到自動駕駛軟件系統的開發中，每一行代碼、每一個專利，都是它們未來競爭的底氣和資本?？梢哉f，自動駕駛軟件系統是上述公司最核心的資產之一。
百度是國內最早投入自動駕駛技術研發的公司之一。Apollo是百度發布的向汽車行業及自動駕駛領域合作伙伴提供的軟件平臺，不僅在全球各種權威自動駕駛榜單中成績斐然，也在商業化推進上有著驚人的速度。下圖是Apollo開源項目的系統架構。
圖1. Apollo 6.0 Architecture，
來源：Apollo項目GitHub
地址：https://github.com/ApolloAuto/apollo
簡單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開源軟件平臺，它是圖中位于右側的各個子模塊的總稱。RTOS（real-time operating system）是實時操作系統，實時性是它的最大特征，它為上層功能模塊的高效執行提供底層環境。
Map Engine是地圖引擎，在軟件中負責獲取各類地圖數據，并提供相應的地圖數據功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車周圍環境信息的功能模塊，負責將各類傳感器收集到的數據進行加工和處理，用結構化的結果來描述汽車周圍的場景。Planning是規劃模塊，負責對結構化的場景信息進行下一步的處理，通過計算得到一條安全可通行的路徑。
展開 從數據到模型：實現自動駕駛高效感知
這和在真實算法研發中面對的數據困境有很大關系。
輕舟智航自動駕駛車輛傳感器方案
以輕舟智航自動駕駛車的硬件配置為例，它的傳感器通常包括了激光雷達、相機、毫米波雷達、IMU、GPS等，其中激光雷達和相機往往有多個。統計發現平均每天一輛自動駕駛的車輛產生4TB的數據，但只有不到5%的數據最終用于開發端，其中被用作最終標注來進行模型訓練的更是少之又少，而這只是一輛車的數據情況?？紤]到整個無人駕駛產業，像輕舟智航這樣的無人駕駛的公司，自動駕駛車隊在不斷擴張，面臨嚴重的數據挖掘和利用的問題。
如下圖，是數據挖掘和標注中的常見的一些難題：
自動駕駛場景下數據挖掘和標注中的常見難題
例如（a）圖是展示的全景分割的圖像，統計發現對全景分割復雜的場景，比如大于50個物體的時候，僅僅對一幅圖像進行精細的像素級標注，就需要超過數十分鐘的時間，如果對一個自動駕駛車隊的所有數據進行標注，將會是特別耗費人力、財力的事情。
（b）圖表示的是在點云中進行3D的標注，包括所感興趣的物體的3D位置、大小和朝向的信息。在點云中進行標注是非常困難的，經常會出現錯誤，而且非常費時。
（a）和（b）雖然比較困難，但是還是比較可行的，但是對于有些任務，例如（c）圖所示的通過單目相機或者是多幀進行深度估計或者光流估計，甚至幾乎沒辦法提供標注。
（d）圖展示的是感知數據中的分布情況，是很明顯的長尾分布。這意味著標注的數據，很大程度上是在重復一些比較常見或者是比較簡單的一些情況。而對于真正困難和少見的數據，一般情況下標注的效率是非常低的。
展開 自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
簡介
多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。因此，許多研究人員嘗試將點云轉換為體素或 2D 投影，然后再將其饋送到下游模塊。
展開 
經緯恒潤智能駕駛開發、測試評估平臺——智能駕駛全量數據感知及分析系統
上一期給大家介紹了平臺的總體方案，本期從“單車智能”開發及測試的角度，為各位看官帶來智能駕駛全量數據感知及分析系統。
智能駕駛全量感知數據實時可視化系統，可實時展示車端各類傳感器數據，可實現感知系統自動對標，并可感知端獲取各類極限場景。包括以下幾部分組成：
智能駕駛數據采集分析及可視化系統
提供一套智能駕駛傳感器全量數據采集及分析軟硬件系統，傳感器數據同步，可實時在可視化界面展示各傳感器數據。
? 全量數據采集
? 定制化傳感器接入
? 遠程事件監控/數據傳輸
? 數據同步
? 數據可視化
? 定制化場景提取
? ADAS功能/測試信號分析
真值系統
真值系統，通過量化真值系統和本車系統的感知結果差異可以評價標注過程，軟件和模型訓練過程。
展開 自動駕駛的視覺感知包括哪些內容？
出廠標定
但是自動駕駛做前裝量產，由于批量生產的緣故，無法一輛輛使用標定板做標定，而是構建一個場地用于車輛出廠時標定，如下圖所示：
2. 在線標定
另外考慮到車輛運行一段時間或者在顛簸的過程中攝像頭位置的偏移，感知系統中也有在線標定的模型，常利用消失點或車道線等檢測得到的信息實時更新俯仰角的變化。
數據標注
自然道路場景存在各種各樣的突發狀況，所以需要采集大量的實車數據用來訓練。高質量的數據標注成了一件至關重要的工作，其中感知系統需要檢測的全部信息均需要進行標注。標注形式包括目標級標注和像素級標注：
目標級標注如下圖：
像素級標注如下圖：
由于感知系統中的檢測和分割任務常采用深度學習的方式實現，而深度學習是一項數據驅動的技術，所以需要大量的數據和標注信息進行迭代。為了提高標注的效率，可以采用半自動的標注方式，通過在標注工具中嵌入一個神經網絡用于提供一份初始標注，然后人工修正，并且在一段時間后加載新增數據和標簽進行迭代循環。
功能劃分
視覺感知可以分為多個功能模塊，如目標檢測跟蹤、目標測量、可通行區域、車道線檢測、靜態物體檢測等。
1.
展開 自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 自動駕駛汽車感知測試
來源 |
智駕社
高階自動駕駛系統的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構向集中式域控制器架構演進已經成為下一代自動駕駛系統不可逆轉的趨勢。對于下一代集中式域控架構下到的自動駕駛系統來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內，系統功能集成度大大提高，這樣對于功能的感知與執行的硬件要求降低
。但是，
域控制器的出現并不代表底層硬件 ECU 的大規模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執行層面功能保留），大部分傳感器也可以直接傳輸數據給域控制器，或把數據初步處理后給域控制器，很多復雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執行域控制器的命令，也就是說，外圍零件只關注本身基本功能，而中央域控制器關注系統級功能實現。此外，數據交互的接口標準化，會讓這些零部件變成標準零件，從而降低這部分零部件開發/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環境信息的軟件算法模塊
，比如ISP、encode、神經網絡、深度學習單元等AI算法。然而，在下一代高階自動駕駛系統中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進行集中式處理。那么，問題來了，對于這類型的自動駕駛系統架構模式，攝像頭模組本身的需求將會發生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 自動駕駛系統中視覺感知模塊的安全測試
車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 
自動駕駛多模態融合感知詳解（研究現狀及挑戰）
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。
展開 高級自動駕駛系統的新型三大感知能力要素分析
因為，諸如像做L1或者L2這樣的簡單駕駛輔助功能，很多時候對于攝像頭的檢測能力只需要滿足簡單的車道線或者標準的車輛等一些簡單的檢測方案。這樣的檢測過程壓根可能不需要進行AI算法訓練和神經網絡加速，而是通過類似于構建ARM核進行邏輯運算便可以滿足要求（這樣就可以說SOC中的CPU資源就可以滿足）。因此，從算法復雜度，算法策略及算法構建的模型參數上考慮，高分辨率攝像頭都是沒辦法完全復用低分辨率攝像頭算法的。另外，從硬件資源上講，處理高分辨率攝像頭數據所需要的SOC往往是更高級的SOC，不僅其中的AI運算單元得到了極大的提升，而且其中的邏輯算力也是提升到了新的高度，這就導致對于原始低等級駕駛輔助系統所訓練的算法無法在新的SOC上做到很好的適配。因此，這也往往促使其改進相應的AI算法模型。另外，諸如像采用相同供應商的系列芯片這種方式，也有可能存在相類似的情況，比如當前采用地平線的J3進行算法訓練所產生的產品，到其升級到J5后，很有可能就會在當前算法的復雜度上實現較大的提升了。
3、當攝像頭傳感器得到升級后，低等級的自動駕駛系統架構采集的數據是否可以直接應用于高等級自動駕駛？
自動駕駛算法的構建和迭代都是以數據作為驅動的，尤其是感知和預測模塊，并且很多時候都是要在過程中做到很好的數據閉環。
自動駕駛的算法模塊，尤其是感知和預測模塊，基本都是數據驅動，可見數據對算法迭代的重要性。這里需要說明的是，很多智能駕駛算法公司都是前期通過數據采集進行算法訓練參數得到的，而低等級智能駕駛系統的數據采集往往采用了低等級的傳感器，不管是在分辨率、檢測距離、誤檢漏檢等方面均不及高等級自動駕駛。因此，對于高分辨率攝像頭檢測而言，除了需要通過之前采集的數據繼承低像素攝像頭的一些基礎性能外，也可以通過場景建模來實現部分場景重構。
展開 干貨 | 自動駕駛感知仿真與驗證之毫米波雷達
課程簡介
如今，無人駕駛/自動駕駛正在迅速發展，在自動駕駛中最關鍵的雷達感知領域涉及多種雷達形式，如激光雷達、攝像頭、微波雷達等。而毫米波雷達，正是一種具有高頻率工作、高精度識別的微波雷達，可以讓無人駕駛技術實現各種高級輔助功能，如并線輔助場景識別、動態道路場景識別等。
本直播將主要介紹毫米波雷達天線的設計難點、設計技巧，以及利用ANSYS HFSS軟件中的天線庫、有限大陣列方案，方便快捷地研究與仿真毫米波陣列天線、天線與車體的布局效應、動態道路場景模擬中的感知成像等。
主要內容綱要如下：
1. 毫米波天線設計流程
2. 天線布局分析技巧
3. 道路場景模擬
4. ROM降階模型
報名方式
手機端請掃描二維碼報名
或者點擊進行報名：http://event.31huiyi.com/1728134959/index?c=jishulink
展開 干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
隨著智能駕駛技術的普遍應用，智能駕駛相關的測試測量方法也隨之發展。特別是模擬仿真測試領域，在智能駕駛產品開發過程中的應用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統（ADAS），都是依靠高精度攝像頭、毫米波雷達、激光雷達等感知傳感器對車輛周邊環境進行感知識別來實現的。那么在自動駕駛系統模擬仿真測試實施過程中，系統中感知傳感器是如何進行實物仿真測試驗證的呢。
本文對自動駕駛系統中感知傳感器實物仿真測試環境構建的原理及其相關方案進行介紹。
■ 視覺攝像頭的實物仿真環境構建
視覺攝像頭是感光傳感器，光線通過攝像頭光學模組，映射到光學模組后面的感光芯片上，芯片將光信號轉換成電信號，這些電信號經過濾波、編碼等信號處理步驟，最終形成攝像頭模組的數字視頻信號。視頻數據通過數字視頻接口，傳輸給攝像頭主控制板。攝像頭主控板集成了主處理器、圖像處理單元和攝像頭電源模塊等電路單元，其中主處理器基于人工智能（AI）和圖像處理技術，圖像處理單元對拍攝圖像進行實時的解析。數據經過處理后，車輛前方的車輛、行人以及障礙物被識別出來。
放置在駕駛室內部的自動駕駛系統視覺前向攝像頭，朝著車輛行駛方向。前向攝像頭透過風擋玻璃對車輛前方的環境進行拍攝，前向視覺攝像頭可以識別取景范圍內的車輛、行人、車道線、交通信號燈、交通道路標志等目標。
圖1 視覺攝像頭識別車輛前方場景圖（圖片來源：車元素）
基于上述攝像頭圖像采集和目標處理的原理，針對視覺攝像頭的場景目標模擬仿真可以采用視覺場景再現的方式進行實現。最簡單便利的方式是利用投影的方式，對提前錄制好的視覺場景視頻進行播放，視覺攝像頭可以非常輕易的采集到模擬場景中目標，從而完成對攝像頭目標的模擬。
用于攝像頭目標模擬的投影系統，一般由投影儀、幕布及支架組成。
展開 