自動駕駛感知的案例
一文詳解智能駕駛感知系統測試技術
摘要
隨著人工智能、邊緣計算、無線通信和車載傳感器等關鍵技術的進步和突破，自動駕駛系統迎來了新一輪的發展。交通應用的安全攸關場景給自動駕駛系統提出了更高的質量保障要求。感知系統是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統安全可靠的有效且必要途徑。本文簡要分析了國內外自動駕駛感知系統測試的研究現狀，并對圖像、激光雷達、以及感知融合測試方法和技術發展進行了討論。
前言
隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析并理解內外交通環境信息。然而，與其他軟件系統一樣，自動駕駛感知系統困擾于軟件缺陷。并且，自動駕駛系統運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發生多起自動駕駛系統缺陷導致的人員傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由于自動駕駛系統輸入數據類型的特殊性和運行環境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統測試方法的研究和應用現狀。
1 自動駕駛感知系統測試
自動駕駛感知系統的質量保障越來越重要。感知系統需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別于傳統測試的重要特征，即對于測試數據的強依賴性。
第一類測試主要基于軟件工程理論和形式化方法等，以感知系統實現的模型結構機理為切入點的測試。
展開 自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
文章來源：自動駕駛干貨鋪
自動駕駛系統中視覺感知模塊的安全測試
車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 
自動駕駛多模態融合感知詳解（研究現狀及挑戰）
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。
展開 干貨 | 自動駕駛感知仿真與驗證之毫米波雷達
課程簡介
如今，無人駕駛/自動駕駛正在迅速發展，在自動駕駛中最關鍵的雷達感知領域涉及多種雷達形式，如激光雷達、攝像頭、微波雷達等。而毫米波雷達，正是一種具有高頻率工作、高精度識別的微波雷達，可以讓無人駕駛技術實現各種高級輔助功能，如并線輔助場景識別、動態道路場景識別等。
本直播將主要介紹毫米波雷達天線的設計難點、設計技巧，以及利用ANSYS HFSS軟件中的天線庫、有限大陣列方案，方便快捷地研究與仿真毫米波陣列天線、天線與車體的布局效應、動態道路場景模擬中的感知成像等。
主要內容綱要如下：
1. 毫米波天線設計流程
2. 天線布局分析技巧
3. 道路場景模擬
4. ROM降階模型
報名方式
手機端請掃描二維碼報名
或者點擊進行報名：http://event.31huiyi.com/1728134959/index?c=jishulink
展開 大模型技術在自動駕駛中的應用
Mobileye 也是自動駕駛技術的龍頭企業之一，其使用了基于深度學習的算法、傳感器與定位技術等，支持各種不同類型的自動駕駛場景。
通用汽車（General Motors）：通用汽車正在與 Cruise 合作，通過深度學習技術來提高自動駕駛汽車的性能。
奔馳（Mercedes-Benz）：奔馳推出名為 Mercedes-Benz Intelligent Drive 的方案，該方案基于神經網絡技術，可為車輛提供先進的自動駕駛功能。
斯巴魯（Subaru）：斯巴魯正在開發名為 EyeSight 的自動駕駛技術平臺，其中包括大量的深度學習算法，可以幫助車輛實現更準確的感知和決策。
四、大模型如何應用于自動駕駛
算法是決定自動駕駛車輛感知能力的核心要素。當前主流的自動駕駛模型框架分為感知、規劃決策和執行三部分。感知模塊是自動駕駛系統的眼睛，核心任務包括對采集圖像進行檢測、分割等，是后續決策層的基礎，決定了整個自動駕駛模型的上限，在自動駕駛系統中至關重要。感知模塊硬件部分主要為傳感器，軟件為感知算法，其中算法是決定自動駕駛車輛感知能力的核心要素。
神經網絡模型的應用驅動感知算法高速發展，具體可以分為兩類，一類是以CNN、RNN為代表的小模型，另一類是Transformer 大模型。
展開 L4自動駕駛漏洞：感知算法可能無法避開人造3D惡意障礙物
NEWS
此項研究題為《對攝像頭和激光雷達都不可見：物理世界攻擊下的基于多傳感器融合的自動駕駛感知安全》（Invisible for both Camera and LiDAR: Security of Multi-Sensor Fusion based Perception in Autonomous Driving Under Physical-World Attacks），已正式發表在計算機安全四大頂會之一IEEES&P2021。該研究團隊來自加州大學爾灣分校（UCIrvine），專攻自動駕駛和智能交通的研究。
在自動駕駛系統里，實時感知周圍環境是所有重要駕駛決策的最基本前提。當前，L4自動駕駛系統逐漸商業化，百度已經在北京、長沙和滄州開始大規模測試無人駕駛出租車，Waymo已經開始在美國鳳凰城測試不需要安全駕駛員的完全自動駕駛出租車。
“
國際自動機工程師學會將自動駕駛從L1到L5分成了五個等級，L5是最高級的全自動化，L4級則是高度自動化，由機器接管全部操作，人不需要對所有的系統請求做出回答。
展開 研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。這些定義可能有些難懂，但是與車輛上不同的功能結合起來就容易理解了。
展開 研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。
展開 自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 
干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
圖5 毫米波雷達目標模擬微波暗箱結構示意圖
■ 總結：感知傳感器模擬仿真方案多樣性、實用性強
從上面的介紹不難看出，自動駕駛主要感知傳感器的實物仿真環境構建，都是基于工作原理，靈活運用傳感器感知介質特性，在標準環境下，進行的模擬目標匹配的信號再造。針對與同一類型的感知傳感器，其實物仿真環境的構建方式其實并非是唯一的，只要環境中相對潔凈，未引入其他影響感知傳感器識別目標的噪聲，并能準確有效的對該類型傳感器可感知目標進行模擬，那這就是一個成功的環境構建方案。所以在不同模擬仿真測試系統應用時，可以結合不同的測試需求，對傳感器實物仿真構建方法進行選擇。
從自動駕駛模擬仿真測試產業發展需求角度出發，目前可以實現的感知傳感器環境構建方案還相對較少，后續自動駕駛整車級模擬仿真測試環境中，必定需要多類型感知傳感器融合仿真測試環境。這對感知傳感器實物仿真測試環境構建提出了更高的要求，也期待有更多更優先的構建方法和創新型構想被提出。
---END---
作者：北斗
文章來源：汽車測試網
展開 自動駕駛多模態傳感器融合的綜述
多模態融合是感知自動駕駛系統的一項基本任務，最近引起了許多研究人員的興趣。然而，由于原始數據噪聲大、信息利用率低以及多模態傳感器的無對準，達到相當好的性能并非易事。
本文對現有的基于多模態自動駕駛感知任務方法進行了文獻綜述。
分析超過50篇論文，包括攝像頭和激光雷達，試圖解決目標檢測和語義分割任務。與傳統的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當前的融合方法，就潛在的研究機會展開討論。
最近，用于自動駕駛感知任務的多模態融合方法發展迅速，其從跨模態特征表示和更可靠的模態傳感器，到更復雜、更穩健的多模態融合深度學習模型和技術。然而，只有少數文獻綜述集中在多模態融合方法本身的方法論上，大多數文獻都遵循傳統規則，將其分為前融合、深度（特征）融合和后融合三大類，重點關注深度學習模型中融合特征的階段，無論是數據級、特征級還是提議級。首先，這種分類法沒有明確定義每個級別的特征表示。其次，它表明，激光雷達和攝像頭這兩個分支在處理過程中始終是對稱的，模糊了激光雷達分支中融合提議級特征和攝像頭分支中融合數據級特征的情況。綜上所述，傳統的分類法可能是直觀的，但對于總結最近出現的越來越多的多模態融合方法來說卻很落后，這使得研究人員無法從系統的角度對其進行研究和分析。
如圖是自動駕駛感知任務的示意圖：
深度學習模型僅限于輸入的表示。為了實現該模型，需要在數據輸入模型之前，通過一個復雜的特征提取器對原始數據進行預處理。
至于圖像分支，大多數現有方法保持與下游模塊輸入的原始數據相同的格式。然而，激光雷達分支高度依賴于數據格式，這種格式強調不同的特性，并對下游模型設計產生巨大影響。
展開 高級別智能駕駛業務系列：自動駕駛系統
▎系統優勢
· 提供車、路、網、云、圖、營全棧式自研港口無人水平運輸解決方案
· 經緯恒潤無人駕駛系統通過運營調度平臺和智能云控平臺，已與業內多家港口TOS系統、 ECS系統完成了系統對接
· 高性能車規級嵌入式控制器，穩定可靠性能高，可應對嚴苛的實車運行工況
· 車規級傳感器解決方案，多重感知，確保感知輸入冗余和安全
· 充分考慮功能安全和信息安全的自主決策能力，保障車輛安全可靠的運行
· 基于生產作業要求實現停車精度＜5cm，封閉場景自動駕駛比例＞99%
· 基于5G環境，實現自動駕駛與遠程駕駛系統無縫對接，滿足極端工況下的作業安全和全流程的自動化作業
· 已實現項目交付和真正的無安全員的常態化運營
▎應用案例
經緯恒潤自動駕駛系統已在日照港、龍拱港集裝箱碼頭商業化落地運營，真正的實現“安全員下車”這一關鍵目標。同時，自動駕駛系統也同樣在園區物流、清掃、接駁方面有了長足的進步。未來，經緯恒潤自動駕駛系統會繼續緊跟智能駕駛行業發展趨勢，聚焦智能化和網聯化技術變革，積極創新，致力于為客戶提供涵蓋環境感知、決策規劃、控制執行、系統集成等自動駕駛全棧解決方案，進一步推進無人駕駛技術的商業落地。
展開 一文了解面向無人駕駛感知系統的仿真驗證技術
無人駕駛技術在當今5G和人工智能的催生下越發蓬勃地發展，滿足完全面向L3+的自動駕駛能力是未來兩年國內外自動駕駛技術產品化的主要目標。對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是，當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術，可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 