自動駕駛感知技術的案例
自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 大模型技術在自動駕駛中的應用
Mobileye 也是自動駕駛技術的龍頭企業之一，其使用了基于深度學習的算法、傳感器與定位技術等，支持各種不同類型的自動駕駛場景。
通用汽車（General Motors）：通用汽車正在與 Cruise 合作，通過深度學習技術來提高自動駕駛汽車的性能。
奔馳（Mercedes-Benz）：奔馳推出名為 Mercedes-Benz Intelligent Drive 的方案，該方案基于神經網絡技術，可為車輛提供先進的自動駕駛功能。
斯巴魯（Subaru）：斯巴魯正在開發名為 EyeSight 的自動駕駛技術平臺，其中包括大量的深度學習算法，可以幫助車輛實現更準確的感知和決策。
四、大模型如何應用于自動駕駛
算法是決定自動駕駛車輛感知能力的核心要素。當前主流的自動駕駛模型框架分為感知、規劃決策和執行三部分。感知模塊是自動駕駛系統的眼睛，核心任務包括對采集圖像進行檢測、分割等，是后續決策層的基礎，決定了整個自動駕駛模型的上限，在自動駕駛系統中至關重要。感知模塊硬件部分主要為傳感器，軟件為感知算法，其中算法是決定自動駕駛車輛感知能力的核心要素。
神經網絡模型的應用驅動感知算法高速發展，具體可以分為兩類，一類是以CNN、RNN為代表的小模型，另一類是Transformer 大模型。
展開 自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
文章來源：自動駕駛干貨鋪
自動駕駛感知數據
現在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設我有一個傳感器配置的車輛，我現在去采集了很多感知場景的數據，
這些數據這樣能變現呢？是否有公司需要數據來訓練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數據他可以用來訓練他的算法嗎？
自動駕駛感知數據閉環簡析
在自動駕駛技術中，軟件系統是最具有技術壁壘的領域之一。近年來，國內外成立了不少自動駕駛創業公司，花費了大量人力物力投入到自動駕駛軟件系統的開發中，每一行代碼、每一個專利，都是它們未來競爭的底氣和資本。可以說，自動駕駛軟件系統是上述公司最核心的資產之一。
百度是國內最早投入自動駕駛技術研發的公司之一。Apollo是百度發布的向汽車行業及自動駕駛領域合作伙伴提供的軟件平臺，不僅在全球各種權威自動駕駛榜單中成績斐然，也在商業化推進上有著驚人的速度。下圖是Apollo開源項目的系統架構。
圖1. Apollo 6.0 Architecture，
來源：Apollo項目GitHub
地址：https://github.com/ApolloAuto/apollo
簡單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開源軟件平臺，它是圖中位于右側的各個子模塊的總稱。RTOS（real-time operating system）是實時操作系統，實時性是它的最大特征，它為上層功能模塊的高效執行提供底層環境。
Map Engine是地圖引擎，在軟件中負責獲取各類地圖數據，并提供相應的地圖數據功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車周圍環境信息的功能模塊，負責將各類傳感器收集到的數據進行加工和處理，用結構化的結果來描述汽車周圍的場景。Planning是規劃模塊，負責對結構化的場景信息進行下一步的處理，通過計算得到一條安全可通行的路徑。
展開 無人駕駛汽車環境感知技術綜述
馬佃波
（吉林大學 130012)
摘要：無人駕駛汽車的相關技術一直是當今科學技術研究中的重中之重，它對國防、科學技術的發展以及整個社會的經濟都有重要的影響作用。無人駕駛汽車的相關技術涉及了很多知識，需要大量專業人才為之奮斗。其中，環境感知技術就相當于無人駕駛汽車的眼睛，將影響著整個無人駕駛汽車的安全性和穩定性，因此，本文主要分析了當前國內外無人駕駛汽車的發展現狀以及現有的無人駕駛汽車環境感知系統，對無人駕駛汽車環境感知系統中的傳感器進行了研究。
關鍵詞：無人駕駛；汽車；環境；感知
科技發展的腳步從未停止，人工智能機器人及人工智能系統已然成為新世紀科技發展的主向。作為人工智能機器人的分支，無人駕駛汽車的發展在整個社會和科學技術的發展中都具有非常重要的影響。無人駕駛汽車可以通過車上安裝的攝像頭或雷達感知道路情況，及時傳遞各種危險情況給駕駛系統，并且在駕駛員沒有及時做出反應的危急時刻自動采取安全措施，提升駕駛汽車的安全性。
在道路行駛中，可以通過視覺傳感器檢測汽車是否行駛在車道內，有無偏離，還會識別行駛過程中道路上的各種標識物和紅綠燈。在無人駕駛技術中，環境感知技術是其組成單元中較為重要的一個單元，將直接決定無人駕駛汽車的整體水平，一直是無人駕駛技術中研究的重點。
1 國內外無人駕駛汽車發展現狀
1.1 國外無人駕駛汽車發展現狀
目前對無人駕駛技術研發投入最多且研究較為深入的國家就是美國了，其從1970年開始就一直注重無人駕駛技術的發展，在各個有能力的單位、學校、研究院投入大量資金進行科學研究，推動了無人駕駛汽車的發展，并取得了非常好的研究成果。
在2011年，英國的牛津大學改裝了一輛越野型無人駕駛汽車，該車在行駛中可以不用GPS，而是采取激光雷達感知道路情況，可以行駛在山路中[1]。
展開 自動駕駛的視覺感知包括哪些內容？
出廠標定
但是自動駕駛做前裝量產，由于批量生產的緣故，無法一輛輛使用標定板做標定，而是構建一個場地用于車輛出廠時標定，如下圖所示：
2. 在線標定
另外考慮到車輛運行一段時間或者在顛簸的過程中攝像頭位置的偏移，感知系統中也有在線標定的模型，常利用消失點或車道線等檢測得到的信息實時更新俯仰角的變化。
數據標注
自然道路場景存在各種各樣的突發狀況，所以需要采集大量的實車數據用來訓練。高質量的數據標注成了一件至關重要的工作，其中感知系統需要檢測的全部信息均需要進行標注。標注形式包括目標級標注和像素級標注：
目標級標注如下圖：
像素級標注如下圖：
由于感知系統中的檢測和分割任務常采用深度學習的方式實現，而深度學習是一項數據驅動的技術，所以需要大量的數據和標注信息進行迭代。為了提高標注的效率，可以采用半自動的標注方式，通過在標注工具中嵌入一個神經網絡用于提供一份初始標注，然后人工修正，并且在一段時間后加載新增數據和標簽進行迭代循環。
功能劃分
視覺感知可以分為多個功能模塊，如目標檢測跟蹤、目標測量、可通行區域、車道線檢測、靜態物體檢測等。
1.
展開 自動駕駛多目視覺感知
NODAR的公司推出的Hammerhead技術，可以實現兩個攝像頭超大距離的寬基線配置，探測距離最遠可達1000米，同時可以生成高密度的點云。這個系統可以利用整車的寬度，比如把攝像頭安裝在側視鏡、前大燈或車頂兩側。
Hammerhead技術中的寬基線配置
4 Tesla的全景感知系統
分析了三目和四目的例子后，下面進入本篇文章的重點，
也就是基于多目的全景感知系統。
這里我們采用的例子是Tesla在2021年的AI Day上展示了一個純視覺的FSD（Full Self Driving）系統。雖然說只能算是L2級別（駕駛員必須做好隨時接管車輛的準備），但如果只是橫向對比L2級的自動駕駛系統，FSD的表現還是不錯的。此外，這個純視覺的方案集成了近年來深度學習領域的很多成功經驗，在多攝像頭融合方面很有特點，個人覺得至少在技術方面還是值得研究一下。
Tesla FSD系統的多攝像頭配置
這里再稍微跑個題，說一下Tesla AI和Vision方向的負責人，Andrej Karpathy。這位小哥1986年出生，2015年在斯坦福大學獲得博士學位，師從計算機視覺和機器學習界的大牛李飛飛教授，研究方向是自然語言處理和計算機視覺的交叉任務以及深度神經網絡在其中的應用。馬斯克2016年將這位青年才俊召入麾下，之后讓其負責Tesla的AI部門，是FSD這個純視覺系統在算法方面的總設計師。
Andrej在AI Day上的報告中首先提到，五年前Tesla的視覺系統是先獲得單張圖像上的檢測結果，然后將其映射到向量空間（Vector Space）。
展開 自動駕駛汽車感知測試
來源 |
智駕社
高階自動駕駛系統的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構向集中式域控制器架構演進已經成為下一代自動駕駛系統不可逆轉的趨勢。對于下一代集中式域控架構下到的自動駕駛系統來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內，系統功能集成度大大提高，這樣對于功能的感知與執行的硬件要求降低
。但是，
域控制器的出現并不代表底層硬件 ECU 的大規模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執行層面功能保留），大部分傳感器也可以直接傳輸數據給域控制器，或把數據初步處理后給域控制器，很多復雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執行域控制器的命令，也就是說，外圍零件只關注本身基本功能，而中央域控制器關注系統級功能實現。此外，數據交互的接口標準化，會讓這些零部件變成標準零件，從而降低這部分零部件開發/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環境信息的軟件算法模塊
，比如ISP、encode、神經網絡、深度學習單元等AI算法。然而，在下一代高階自動駕駛系統中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進行集中式處理。那么，問題來了，對于這類型的自動駕駛系統架構模式，攝像頭模組本身的需求將會發生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 從數據到模型：實現自動駕駛高效感知
來源 |
我愛計算機視覺
知圈
|
進“域控制器群”請加微13636581676,備注域
以上視頻為輕舟智航x火山引擎全無人自動駕駛Demo，車輛在城市晚高峰時段自己從地庫出發接了3張訂單又自動回去收車，一路完成了自動躲外賣小哥、火車站送客、禮讓行人的復雜操作...
網友紛紛留言：“無人車長大了，會自己賺錢養家了”。
成立的短短兩年時間達到如此成就，先進的研發理念背后是“輕、快、高效”的研發基因。
前段時間CV君有幸參加了國內自動駕駛公司輕舟智航的技術直播活動，活動主題是Efficient Perception（高效感知），介紹了輕舟智航在產品研發中輕快、高效的研發思路，非常值得借鑒。
主講：
楊曉東，輕舟智航 Head of Machine Learning
整理：
CV君
這里面Efficient Perception集中表現在兩個方面，分別是：Data-Efficient和Model-Efficient。
Data-Efficient：
目的是通過機器學習的方法，來利用和挖掘海量未標注的自動駕駛的數據，來加快感知模型的開發。
Model-Efficient：
目的是利用數據驅動的學習方式，來替代工程師的手動設計以及手動調參，使得感知模型可以更方便、更快捷地部署到新的場景，解決新的類別。
本文將以案例的形式介紹Efficient Perception在全景分割、單目深度估計、紅綠燈識別、點云運動預測和點云中3D多物體跟蹤方面的應用。
展開 
自動駕駛系統中視覺感知模塊的安全測試
車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。
展開 高級自動駕駛系統的新型三大感知能力要素分析
小結
從自動駕駛系統的傳感器先進性升級角度上看，將搭載高清攝像頭、優質的激光雷達、成像毫米波雷達來重點解決當前自動駕駛系統可能遇到的各種邊緣場景問題。其中，升級為4D毫米波雷達，算法便可更多考慮毫米波雷達的感知結果，從而以更高概率識別路面上的靜態障礙物，結合其高分辨率帶來的優勢，可以更有效地解析目標的輪廓、類別、行為，進而能知道在什么情況下必須剎車（避免漏剎）。視覺感知的挑戰在于，目標障礙物必須經過提前訓練，而模型庫又不可能窮舉所有類型，所以很多靜態障礙物成了“漏網之魚”，此外即使有模型庫，另一個挑戰在于神經網絡能否正確識別出前方障礙物。因此，便經常出現明明前方有障礙物、自動駕駛汽車卻依然撞上去的結果。高清攝像頭正好從一定程度上可以解決部分該問題，但是也要注意對攝像頭的選型需要遵循一定的原則。此外，從激光雷達的原理可以，激光雷達可以通過發射接收的點云自然的擬合出各種形狀的物體，但是，激光雷達的使用也是需要從成本、性能和功耗等各個角度統一考慮其搭載的可行性。
展開 干貨 | 自動駕駛感知仿真與驗證之毫米波雷達
課程簡介
如今，無人駕駛/自動駕駛正在迅速發展，在自動駕駛中最關鍵的雷達感知領域涉及多種雷達形式，如激光雷達、攝像頭、微波雷達等。而毫米波雷達，正是一種具有高頻率工作、高精度識別的微波雷達，可以讓無人駕駛技術實現各種高級輔助功能，如并線輔助場景識別、動態道路場景識別等。
本直播將主要介紹毫米波雷達天線的設計難點、設計技巧，以及利用ANSYS HFSS軟件中的天線庫、有限大陣列方案，方便快捷地研究與仿真毫米波陣列天線、天線與車體的布局效應、動態道路場景模擬中的感知成像等。
主要內容綱要如下：
1. 毫米波天線設計流程
2. 天線布局分析技巧
3. 道路場景模擬
4. ROM降階模型
報名方式
手機端請掃描二維碼報名
或者點擊進行報名：http://event.31huiyi.com/1728134959/index?c=jishulink
展開 