自動駕駛系統測試的案例
一文詳解智能駕駛感知系統測試技術
摘要
隨著人工智能、邊緣計算、無線通信和車載傳感器等關鍵技術的進步和突破，自動駕駛系統迎來了新一輪的發展。交通應用的安全攸關場景給自動駕駛系統提出了更高的質量保障要求。感知系統是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統安全可靠的有效且必要途徑。本文簡要分析了國內外自動駕駛感知系統測試的研究現狀，并對圖像、激光雷達、以及感知融合測試方法和技術發展進行了討論。
前言
隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析并理解內外交通環境信息。然而，與其他軟件系統一樣，自動駕駛感知系統困擾于軟件缺陷。并且，自動駕駛系統運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發生多起自動駕駛系統缺陷導致的人員傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由于自動駕駛系統輸入數據類型的特殊性和運行環境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統測試方法的研究和應用現狀。
1 自動駕駛感知系統測試
自動駕駛感知系統的質量保障越來越重要。感知系統需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別于傳統測試的重要特征，即對于測試數據的強依賴性。
第一類測試主要基于軟件工程理論和形式化方法等，以感知系統實現的模型結構機理為切入點的測試。
展開 自動駕駛系統中視覺感知模塊的安全測試
摘要
近年來,基于深度學習的視覺感知技術的發展極大地促進了車聯網領域中自動駕駛的繁榮,然而自動駕駛系統的安全問題頻出引發了人們對自動駕駛未來的擔憂．由于深度學習系統的行為缺乏可解釋性,測試基于深度學習的自動駕駛系統的安全性極具挑戰性．目前已有針對自動駕駛場景的安全性測試工作被提出,但這些方法在測試場景生成、安全問題檢測和安全問題解釋等方面仍存在不足之處．針對基于視覺感知的自動駕駛系統,設計開發了一種場景驅動的、可解釋強的、運行高效的安全性測試系統．提出了一種能夠平衡真實性與豐富度的場景描述方法,并利用實時渲染引擎生成可以用于駕駛系統安全性測試的場景;設計了一種高效的針對非線性系統的場景搜索算法,其可以針對不同的待測試系統動態調整搜索方案;同時,還設計了一個故障分析器,自動化分析定位待測試系統的安全性缺陷成因．復現了現有基于實時渲染引擎的動態自動駕駛測試系統,并同時使用本系統和復現系統對CILRS系統和CIL系統進行安全測試,實驗結果表明相同時間下本工作的安全問題發現率是復現的場景驅動的動態測試方法的1.4倍．進一步的實驗表明,可以分別為具有代表性的深度學習自動駕駛系統CIL和CILRS,從曠野、鄉村與城市的３類環境中動態生成的共3000個場景中,搜索到1939和1671個造成故障的場景,并且每個故障場景的搜索時間平均為16.86s．分析器從統計的角度判斷出CILRS系統容易造成故障的區域在道路兩側,雨天和紅色或黃色物體更易造成該自動駕駛系統發生故障．
展開 自動駕駛系統測試詳談
自動駕駛系統級測試的基礎理論
1.1 自動駕駛測試場景的構成
1.1.1 構成框架
該圖引用國汽智聯材料
1.1.2 場景來源
真實駕駛記錄場景
專家經驗構建場景（先驗知識）
1.1.3 真實駕駛場景來源
真實駕駛場景處理流程：
該圖引用國汽智聯材料
淺談自動駕駛系統測試
來源 | ADS智庫
一、自動駕駛系統級測試的基礎理論
1.1 自動駕駛測試場景的構成
1.1.1 構成框架
*該圖引用國汽智聯材料
1.1.2 場景來源
真實駕駛記錄場景
專家經驗構建場景（先驗知識）
1.1.3 真實駕駛場景來源
真實駕駛場景處理流程：
*該圖引用國汽智聯材料
車端記錄場景：
*該圖引用國汽智聯材料
場景記錄場景：
*該圖引用國汽智聯材料
專家經驗構建：
1.2 通過多個分析維度構建自動泊車測試用例框架
*該圖引用論文《智能汽車自主泊車系統測試方法》蒙昊藍等
1.3 由測試場景演變出具體的測試用例
*該圖引用豐田研究員會議材料
1.4 整車系統級測試工作的開展
由對的人，在對的地點，對待測試的車輛，使用準確的測試工具，安全的開展測試，詳細的記錄測試過程。
展開 
汽車測試科普貼：一文看懂自動駕駛仿真測試
采用路測來優化自動駕駛算法耗費的時間和成本太高，且開放道路測試仍受到法規限制，極端交通條件和場景復現困難，測試安全存在隱患。
因此，基于場景庫的仿真測試是解決自動駕駛研發測試挑戰的主要路線。自動駕駛系統測試不同于傳統的汽車整車或零部件試驗，更多的是參照軟件開發和測試的模型和流程。V模型是廣泛在軟件開發和測試中使用流程，V模型要求在開發團隊進行不同階段的開發同時，測試團隊編制對應的測試用例，并在開發階段完成后立即進行測試。這就要求在集成測試、系統測試等暫無完整產品樣件的情況下，就開始進行測試。
在自動駕駛系統的開發過程中，越早發現問題則修正問題的成本越低。在開發的早期，就建立起測試驗證的手段，快速高效的發現和解決開發過程中的問題，可以有效減低開發成本、提高開發效率。
展開 干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
隨著智能駕駛技術的普遍應用，智能駕駛相關的測試測量方法也隨之發展。特別是模擬仿真測試領域，在智能駕駛產品開發過程中的應用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統（ADAS），都是依靠高精度攝像頭、毫米波雷達、激光雷達等感知傳感器對車輛周邊環境進行感知識別來實現的。那么在自動駕駛系統模擬仿真測試實施過程中，系統中感知傳感器是如何進行實物仿真測試驗證的呢。
本文對自動駕駛系統中感知傳感器實物仿真測試環境構建的原理及其相關方案進行介紹。
■ 視覺攝像頭的實物仿真環境構建
視覺攝像頭是感光傳感器，光線通過攝像頭光學模組，映射到光學模組后面的感光芯片上，芯片將光信號轉換成電信號，這些電信號經過濾波、編碼等信號處理步驟，最終形成攝像頭模組的數字視頻信號。視頻數據通過數字視頻接口，傳輸給攝像頭主控制板。攝像頭主控板集成了主處理器、圖像處理單元和攝像頭電源模塊等電路單元，其中主處理器基于人工智能（AI）和圖像處理技術，圖像處理單元對拍攝圖像進行實時的解析。數據經過處理后，車輛前方的車輛、行人以及障礙物被識別出來。
放置在駕駛室內部的自動駕駛系統視覺前向攝像頭，朝著車輛行駛方向。前向攝像頭透過風擋玻璃對車輛前方的環境進行拍攝，前向視覺攝像頭可以識別取景范圍內的車輛、行人、車道線、交通信號燈、交通道路標志等目標。
圖1 視覺攝像頭識別車輛前方場景圖（圖片來源：車元素）
基于上述攝像頭圖像采集和目標處理的原理，針對視覺攝像頭的場景目標模擬仿真可以采用視覺場景再現的方式進行實現。最簡單便利的方式是利用投影的方式，對提前錄制好的視覺場景視頻進行播放，視覺攝像頭可以非常輕易的采集到模擬場景中目標，從而完成對攝像頭目標的模擬。
用于攝像頭目標模擬的投影系統，一般由投影儀、幕布及支架組成。
展開 官陽：自動駕駛系統會對道路基礎設施提出哪些要求？
意見征詢的背景、目的以及對象
征詢函指出，自動駕駛系統（ADS）正持續進入公共道路進行測試，很多道路產權單位和管理者在嘗試判斷，道路基礎設施需要做什么樣的改變或提升，才能消除自動駕駛技術的前進障礙，或加速這些技術的實現，進而提升道路安全。
一些汽車制造企業也表示，進一步提升車道標線、標志和其他交通控制設施的一致性，會對自動駕駛系統的運行有益。而基礎設施的供應者也有興趣了解，哪些交通控制設施的材料和其他特性，會對自動駕駛系統的運行形成挑戰，特別是相對機器視覺技術的能力，道路標線可否從各種東西中被辨識出。
正在粘貼高對比度全天候標線的施工照片 圖片來自網絡
該函主要聽取公眾意見的范圍，包括州和地方上的道路產權方、汽車制造業、道路硬件和智能交通系統產業、相關協會、運輸倡導機構、自動駕駛硬件和軟件平臺開發者等。意見內容主要是評估自動駕駛系統對基礎設施的要求，自動駕駛和基礎設施的各種對接標準以及運行實踐情況，以實現自動駕駛系統的安全和有效運行。
公開征詢意見的范圍，還包括各方通報給聯邦公路管理局的自動駕駛戰略和進展情況。2018年，美國公路交通安全管理局頒布《自動駕駛系統安全愿景2.0版》，替代2016年版的《聯邦自動車輛政策》。這份新文件專注于兩個領域：自動駕駛系統志愿指南和對各州的技術支持，其目標是在車輛自動化領域為國家公路交通安全管理局的指南提供補充并持續協調美國交通運輸部。
該文件還聲明，直接向公眾和參與者征求意見，是為更好地找到自身定位，以做好未來的機構研究和活動。
展開 自動駕駛法規研究：政策放開，自動駕駛商業化示范大幕開啟
無人車上路測試規范研究
4.1 中國
4.1.1 《智能網聯汽車自動駕駛系統功能測試技術規范》——對自動駕駛等級的條件劃分
4.1.1 《智能網聯汽車自動駕駛系統功能測試技術規范》——對自動駕駛等級的條件劃分
4.1.1 《智能網聯汽車自動駕駛系統功能測試技術規范》——7項主要測試
4.1.1 《智能網聯汽車自動駕駛系統功能測試技術規范》——仿真測試
4.1.1 《智能網聯汽車自動駕駛系統功能測試技術規范》——信息安全測試
4.1.2 《自動駕駛出租車運營規范與安全管理要求》
4.1.3 《智能網聯汽車道路測試管理規范》
4.2 美國
4.2.1 加利福尼亞無人車上路測試規范要求
4.2.2 內華達州無人車上路測試規范要求
4.2.3 亞利桑那州無人車上路測試規范要求
4.3 荷蘭
4.3.1 荷蘭無人車上路測試規范
4.4 日本
4.4.1 日本無人車上路測試規范
4.5 全球主要無人車上路條件對比
05
全球自動駕駛運營模式研究
5.1 自動駕駛商業化運營模式探索——國外
5.2 自動駕駛商業化運營模式探索——國內
5.3 國外自動駕駛企業運營對比
展開 自動駕駛測試方法和流程綜述！
自動駕駛測試未來的發展趨勢包括更高效的測試方法、更全面的測試覆蓋范圍、更高精度的測試數據、更智能的測試系統和更嚴格的測試標準。
這些趨勢將推動自動駕駛汽車測試的不斷發展和改進，以確保自動駕駛汽車的性能和安全性。
在未來，自動駕駛測試將會變得更加復雜和具有挑戰性。例如，自動駕駛汽車需要處理各種復雜的情況，如氣候變化、道路工程、道路施工等。為了應對這些情況，測試系統需要更加智能和高效。
同時，自動駕駛汽車測試還需要更好地融合和協同各種技術和系統。
例如，自動駕駛汽車需要與車載通信系統、智能交通系統等協同工作，以便更好地感知和響應周圍的環境和車輛。
隨著自動駕駛技術的不斷進步和普及，自動駕駛測試將會變得更加重要和復雜。只有通過不斷的創新和改進，我們才能更好地保障自動駕駛汽車的性能和安全性，實現自動駕駛技術的可持續發展。
展開 自動駕駛車輛測試的31個挑戰：與行業及學術專家的訪談
來源 | 同濟智能汽車研究所（安全與性能研究室）
引 言
汽車行業普遍認為，自動駕駛系統和自動駕駛汽車的出現，對質量保證的方式，尤其是測試的執行方式提出了巨大挑戰。針對這個話題，編者挑選出最近讀到的一篇文章與你分享，并加入了編者的評述。你遇到過、思考過其中哪些挑戰？認同哪些挑戰？還有沒有別的挑戰，需要我們共同關注的么？
不同于大多學術論文的形式，本文采用與來自行業和學術專家進行訪談的方式，系統地討論了在測試方法和工具方面的挑戰，并指出了有待發展的方向。文章將自動駕駛汽車測試分為4個領域，共討論了31個挑戰；這4個領域分別是：基于場景的測試、基于仿真的測試、測試自動化以及測試執行。
題 目 : Thirty-One Challenges in Testing Automated Vehicles: Interviews with Experts from Industry and Research
作 者 : Felix Beringhoff, Joel Greenyer, Christian Roesener and Matthias Tichy
機 構 : Volkswagen AG, FHDW Hannover, Ulm University
編 者 : 陳君毅 邢星宇 劉鎮源
自動駕駛汽車在其生命周期中面臨的可能的交通情況數量龐大，然而又要全面、透明地確保其質量和安全性，同時盡量減少設計和執行測試的工作量，這對自動駕駛系統「ADS」的測試方法和工具提出了巨大挑戰。測試自動駕駛系統這一復雜系統，將極大地考驗汽車行業的開發和測試各個環節。
本文的主要研究對象及目標是：針對于搭載SAE 4級的自動駕駛汽車，在其ADS的測試實施和執行方面主要存在哪些挑戰？
展開 自動駕駛車輛測試的31個挑戰：與行業及學術專家的訪談
來源 | 同濟智能汽車研究所（安全與性能研究室）
引 言
汽車行業普遍認為，自動駕駛系統和自動駕駛汽車的出現，對質量保證的方式，尤其是測試的執行方式提出了巨大挑戰。針對這個話題，編者挑選出最近讀到的一篇文章與你分享，并加入了編者的評述。你遇到過、思考過其中哪些挑戰？認同哪些挑戰？還有沒有別的挑戰，需要我們共同關注的么？
不同于大多學術論文的形式，本文采用與來自行業和學術專家進行訪談的方式，系統地討論了在測試方法和工具方面的挑戰，并指出了有待發展的方向。文章將自動駕駛汽車測試分為4個領域，共討論了31個挑戰；這4個領域分別是：基于場景的測試、基于仿真的測試、測試自動化以及測試執行。
題 目 : Thirty-One Challenges in Testing Automated Vehicles: Interviews with Experts from Industry and Research
作 者 : Felix Beringhoff, Joel Greenyer, Christian Roesener and Matthias Tichy
機 構 : Volkswagen AG, FHDW Hannover, Ulm University
編 者 : 陳君毅 邢星宇 劉鎮源
自動駕駛汽車在其生命周期中面臨的可能的交通情況數量龐大，然而又要全面、透明地確保其質量和安全性，同時盡量減少設計和執行測試的工作量，這對自動駕駛系統「ADS」的測試方法和工具提出了巨大挑戰。測試自動駕駛系統這一復雜系統，將極大地考驗汽車行業的開發和測試各個環節。
本文的主要研究對象及目標是：針對于搭載SAE 4級的自動駕駛汽車，在其ADS的測試實施和執行方面主要存在哪些挑戰？
展開 
自動駕駛虛擬仿真技術（四）：仿真測試流程及要求
作者 | HYZY
出品 | 焉知
知圈 | 進“汽車智能互動社群”請加微信13636581676，備注交互
一、自動駕駛仿真測試對象
自動駕駛系統分為了環境感知、決策規劃和控制執行三個子系統，三個子系統又由傳感器模型、決策模型、控制對象模型及對應的軟件和硬件部分組成。
圖 1 自動駕駛系統通用架構
從V模型的角度，要完成自動駕駛系統的測試，就必須對其所包含的所有算法、軟件、硬件、子系統、整車進行逐層的測試，以形成測試的全鏈條。
在測試方法選擇上，仿真測試、場地測試與道路測試共同組成了自動駕駛測試的“三支柱”。其中，場地測試與道路測試僅針對整車層面，且覆蓋的場景工況有限，尤其是對于長尾場景，難以通過實車的方式進行測試。而自動駕駛仿真測試可以很好地彌補實車測試的不足，除了場景覆蓋度外，更是可以針對自動駕駛算法、軟件、硬件、子系統、整車等不同層級的測試對象，形成全鏈條測試。
二、自動駕駛仿真測試流程
根據不同層級測試對象的特點，可選擇不同的自動駕駛仿真測試環境，通常來說：對自動駕駛系統的模型算法、計算平臺、域控制器等依次開展模型在環（MIL）、軟件在環（SIL）、硬件在環測試（HIL），之后對整車開展駕駛員在環（DIL）和車輛在環（VIL）測試。具體仿真測試流程見下圖2。
圖 2 自動駕駛仿真測試流程
三、自動駕駛仿真測試執行環節
自動駕駛仿真測試典型的執行環節包括：測試需求分析、測試配置、接口定義、設計測試用例、測試執行、測試結果分析及測試結束條件等。
展開 自動駕駛 HIL 測試：構建 "以假亂真" 的實時數據注入系統
06 總結
一套成功的高保真實時仿真注入系統，本質上是一個解決了計算、傳輸和物理接口三大領域深度集成問題的系統工程。
通過將DMA/RDMA的零拷貝能力、GMSL2 的高帶寬物理層以及 I2C 的精確控制能力有機結合，可以有效攻克傳統HIL測試中存在的帶寬、延遲和保真度瓶頸，從而在實驗室環境中構建起連接虛擬仿真與物理ECU的堅實橋梁。這套技術棧，是加速自動駕駛算法迭代和保障其功能安全的關鍵賦能技術。
我是分享自動駕駛技術的康謀，歡迎關注互動~
測試及驗證自動駕駛系統安全、大規模部署的解決方案
這使得一個有機集成而非侵入性的驗證測試管理解決方案成為可能（在有需要的情況下，也可根據需求添加和替換不同測試執行平臺）。
? 認證和標準符合：支持更新的場景描述標準OpenSCENARIO 2.0和OpenDrive。提供開放式架構來輕松實現對于新標準的支持。
? 即拿即用的測試驗證模組包：涵蓋豐富的測試用例以覆蓋巨大的測試空間。現有對于ADAS & Highway和ALKS標準以及特定礦山ODD’s支持的測試驗證模組包可用。
Foretify? 驗證自動及分析平臺
M-SDL
Foretellix發明了M-SDL，一種開源的，人機可讀的語言。此語言僅通過幾行代碼便可描述復雜的抽象場景（abstract scenarios）。Foretelify?基于M-SDL描述的場景自動生成海量的有意義的測試，從而覆蓋在智駕系統測試中可能遇到的相關情況，邊緣條件及未知空間。
M-SDL允許各場景間進行混合、組合和重用，從而使針對使用情況和ODD需求的場景庫建設成為可能。
M-SDL是即將到來的ASAM OpenScenario2.0標準的概念先行者。
測試驗證模組包
模組包攜帶預定義且可定制的驗證計劃，滿足具體情況和ODD而設計的即拿即用抽象場景(abstract scenario)。現今提供以下模組包:
? ADAS和高速道路：用于ADAS測試的眾多場景。其包括并混合了52個M-SDL場景即相應的場景回歸測試模組。
? ALKS：商業實施的聯合國歐洲經委會(UNECE)關于自動車道保持系統的監管方案-聯合國條例157。
展開 下一代自動駕駛域控制器系統架構設計
對于真正的自動駕駛而言，系統開發往往圍繞正向開發過程進行，正向開發意味著很多邊緣化的場景并未在開發過程中進行響應，我們知道通過APICE流程開發模型中，其中涉及的單元測試和過程測試正是針對開發原始軟件的漏洞和缺陷進行實時補充和更新的方式，這就要求測試過程具備極為豐富的場景庫以及測試平臺搭建能力。場景庫不難理解，就是我們常常稱之為的UseCase，而平臺搭建能力則是對下一代自動駕駛系統測試的巨大挑戰。因為其中包含了仿真測試與實車測試兩種方式。難點在于在很多真實場景下無法進行測量（可能測量時存在較大危險性）的邊緣化場景只能通過仿真平臺搭建，而仿真搭建的模型卻又很難真實的再現出實際的功能場景。
本文針對下一代自動駕駛系統的功能設計架構進行詳細分析，從不同的角度說明自動駕駛系統在設計上的詳細需求，從而確保為開發下一代自動駕駛系統提供支撐。
整車架構與功能列表
下一代自動駕駛從整車架構上講主要增加了不同的幾類硬件配置，典型的方案是采用集中式控制方案進行數據處理與邏輯控制。顧名思義集中式即是域控制器直接處理激光雷達、前視攝像頭、后視攝像頭、側視攝像頭、環視攝像頭、超聲波雷達等傳感器原始信號，同時集成高精地圖與定位數據至Soc中（此時可以摒棄掉告警地圖盒子），包含創建SLAM定位建圖策略，外掛獨立IMU進行車輛位姿數據優化等過程。如下表示了下一代自動駕駛的整車架構典型示意圖：
下一代自動駕駛系統涉及的整車網絡系統由若干路 CAN 子網、LIN 子網、車載以太網Ethernet組成。其中CAN 子網分別為：動力 CAN、底盤 CAN、舒適 CAN、信息 CAN、ADAS CAN、T-Box CAN與診斷 CAN等這幾種主要類型。
展開 