自動駕駛感知系統的案例
一文詳解智能駕駛感知系統測試技術
摘要
隨著人工智能、邊緣計算、無線通信和車載傳感器等關鍵技術的進步和突破，自動駕駛系統迎來了新一輪的發展。交通應用的安全攸關場景給自動駕駛系統提出了更高的質量保障要求。感知系統是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統安全可靠的有效且必要途徑。本文簡要分析了國內外自動駕駛感知系統測試的研究現狀，并對圖像、激光雷達、以及感知融合測試方法和技術發展進行了討論。
前言
隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析并理解內外交通環境信息。然而，與其他軟件系統一樣，自動駕駛感知系統困擾于軟件缺陷。并且，自動駕駛系統運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發生多起自動駕駛系統缺陷導致的人員傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由于自動駕駛系統輸入數據類型的特殊性和運行環境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統測試方法的研究和應用現狀。
1 自動駕駛感知系統測試
自動駕駛感知系統的質量保障越來越重要。感知系統需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別于傳統測試的重要特征，即對于測試數據的強依賴性。
第一類測試主要基于軟件工程理論和形式化方法等，以感知系統實現的模型結構機理為切入點的測試。
展開 自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 自動駕駛系統中視覺感知模塊的安全測試
車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
隨著智能駕駛技術的普遍應用，智能駕駛相關的測試測量方法也隨之發展。特別是模擬仿真測試領域，在智能駕駛產品開發過程中的應用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統（ADAS），都是依靠高精度攝像頭、毫米波雷達、激光雷達等感知傳感器對車輛周邊環境進行感知識別來實現的。那么在自動駕駛系統模擬仿真測試實施過程中，系統中感知傳感器是如何進行實物仿真測試驗證的呢。
本文對自動駕駛系統中感知傳感器實物仿真測試環境構建的原理及其相關方案進行介紹。
■ 視覺攝像頭的實物仿真環境構建
視覺攝像頭是感光傳感器，光線通過攝像頭光學模組，映射到光學模組后面的感光芯片上，芯片將光信號轉換成電信號，這些電信號經過濾波、編碼等信號處理步驟，最終形成攝像頭模組的數字視頻信號。視頻數據通過數字視頻接口，傳輸給攝像頭主控制板。攝像頭主控板集成了主處理器、圖像處理單元和攝像頭電源模塊等電路單元，其中主處理器基于人工智能（AI）和圖像處理技術，圖像處理單元對拍攝圖像進行實時的解析。數據經過處理后，車輛前方的車輛、行人以及障礙物被識別出來。
放置在駕駛室內部的自動駕駛系統視覺前向攝像頭，朝著車輛行駛方向。前向攝像頭透過風擋玻璃對車輛前方的環境進行拍攝，前向視覺攝像頭可以識別取景范圍內的車輛、行人、車道線、交通信號燈、交通道路標志等目標。
圖1 視覺攝像頭識別車輛前方場景圖（圖片來源：車元素）
基于上述攝像頭圖像采集和目標處理的原理，針對視覺攝像頭的場景目標模擬仿真可以采用視覺場景再現的方式進行實現。最簡單便利的方式是利用投影的方式，對提前錄制好的視覺場景視頻進行播放，視覺攝像頭可以非常輕易的采集到模擬場景中目標，從而完成對攝像頭目標的模擬。
用于攝像頭目標模擬的投影系統，一般由投影儀、幕布及支架組成。
展開 
自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
文章來源：自動駕駛干貨鋪
高階自動駕駛系統的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構向集中式域控制器架構演進已經成為下一代自動駕駛系統不可逆轉的趨勢。對于下一代集中式域控架構下到的自動駕駛系統來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內，系統功能集成度大大提高，這樣對于功能的感知與執行的硬件要求降低
。但是，
域控制器的出現并不代表底層硬件 ECU 的大規模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執行層面功能保留），大部分傳感器也可以直接傳輸數據給域控制器，或把數據初步處理后給域控制器，很多復雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執行域控制器的命令，也就是說，外圍零件只關注本身基本功能，而中央域控制器關注系統級功能實現。此外，數據交互的接口標準化，會讓這些零部件變成標準零件，從而降低這部分零部件開發/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環境信息的軟件算法模塊
，比如ISP、encode、神經網絡、深度學習單元等AI算法。然而，在下一代高階自動駕駛系統中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進行集中式處理。那么，問題來了，對于這類型的自動駕駛系統架構模式，攝像頭模組本身的需求將會發生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 高級自動駕駛系統的新型三大感知能力要素分析
3、當攝像頭傳感器得到升級后，低等級的自動駕駛系統架構采集的數據是否可以直接應用于高等級自動駕駛？
自動駕駛算法的構建和迭代都是以數據作為驅動的，尤其是感知和預測模塊，并且很多時候都是要在過程中做到很好的數據閉環。
自動駕駛的算法模塊，尤其是感知和預測模塊，基本都是數據驅動，可見數據對算法迭代的重要性。這里需要說明的是，很多智能駕駛算法公司都是前期通過數據采集進行算法訓練參數得到的，而低等級智能駕駛系統的數據采集往往采用了低等級的傳感器，不管是在分辨率、檢測距離、誤檢漏檢等方面均不及高等級自動駕駛。因此，對于高分辨率攝像頭檢測而言，除了需要通過之前采集的數據繼承低像素攝像頭的一些基礎性能外，也可以通過場景建模來實現部分場景重構。此外，對于一些極端場景，則需要利用高分辨率攝像頭進行數據采集和重新的算法訓練，進而無限的提升其檢測效果，實現數據閉環。
4、高分辨率攝像頭是只進行前裝（前視攝像頭）還是整個鋪開（側視、后視攝像頭）？
對于高階自動駕駛系統來說，前視需要解決的場景最多，目標識別任務最復雜，比如遠距離小目標識別，近距離目標切入識別，這兩者對于攝像頭的波束開角和分辨率都有較高的需求。對于側視和后視攝像頭來說，其感知場景的要求則相對簡單些，這兩者的主要需求都基本在對于自動變道場景的側后方目標探測上。因此，從成本和效率上講，側視/后視場景采用一般分辨率的攝像頭即可滿足要求。而對于環視攝像頭而言，通常是在中低速情況下通過大視角短距離檢測泊車入位的車道線和車輛目標。因此，采用中低分辨率攝像頭也能夠滿足目標探測要求。同理，對于智能座艙內的攝像頭，通常采用的是包含駕駛員在位識別、人臉識別、情緒識別等，基本上采用適中的攝像頭分辨率即可。
展開 一文了解面向無人駕駛感知系統的仿真驗證技術
無人駕駛技術在當今5G和人工智能的催生下越發蓬勃地發展，滿足完全面向L3+的自動駕駛能力是未來兩年國內外自動駕駛技術產品化的主要目標。對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是，當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術，可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
Ansys為面向L3+的自動駕駛應用提供了一系列可擴展的面向高級自動駕駛功能設計、開發和測試驗證的工具和系統平臺，針對目前難度較大的感知系統仿真驗證，Ansys提供高精度的物理傳感器、三維環境與駕駛仿真能力，從而縮短自動駕駛的測試周期和巨大的路試花費。
行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
無人駕駛技術在當今5G和人工智能的催生下越發蓬勃地發展，滿足完全面向L3+的自動駕駛能力是未來兩年國內外自動駕駛技術產品化的主要目標。對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys解決方案
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 
研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。這些定義可能有些難懂，但是與車輛上不同的功能結合起來就容易理解了。
展開 研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
Ansys為面向L3+的自動駕駛應用提供了一系列可擴展的面向高級自動駕駛功能設計、開發和測試驗證的工具和系統平臺，針對目前難度較大的感知系統仿真驗證，Ansys提供高精度的物理傳感器、三維環境與駕駛仿真能力，從而縮短自動駕駛的測試周期和巨大的路試花費。
自動駕駛感知數據
現在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設我有一個傳感器配置的車輛，我現在去采集了很多感知場景的數據，
這些數據這樣能變現呢？是否有公司需要數據來訓練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數據他可以用來訓練他的算法嗎？
