arXiv在2021年10月25日上傳的綜述論文第3版“Explanations in Autonomous Driving: A Survey“，作者來自英國牛津大學（注；第1版發表于2021年3月）。

隨著人工智能 (AI) 的發展，汽車公司采用黑盒子AI 模型，感知汽車環境并在自動做出駕駛決策。由于商業規模的部署自動駕駛汽車 (AV)，人類社會對 AV 的接受程度至關重要，很大程度上取決于透明度、可信度和合規性。對自動駕駛汽車行為的解釋，可以促進這些驗收要求的合規性評估。因此，可解釋性被視為一項重要要求，自動駕駛汽車應該能夠解釋其運行環境所“看到”、做過和可能做的事情。

本文對可解釋自動駕駛進行全面綜述。

首先，強調那些透明度、問責制和信任度對自動駕駛汽車的重要性；檢查與自動駕駛汽車相關的現有法規和標準。

其次，識別和分類參與自動駕駛汽車開發、使用和監管的利益相關者，并引出對自動駕駛汽車解釋的要求。

第三，對之前AV 操作（即感知、定位、規劃、控制和系統管理）可解釋的工作進行嚴格審查。

最后，確定相關的挑戰并給出建議，比如解釋性的概念框架。

一種普遍認同的問責制概念與被要求向某些權威“解釋”的過程有關。從廣義上講，問責制通常包含密切相關的概念，例如責任和義務。

對自動化系統的信任度極大地影響自動化系統的接受度和依賴性。信任度可以更精細地校準，這樣個人對自動化系統的信任水平充分反映自動化系統的實際能力和功能范圍。這種信任度校準被認為是人機交互安全高效的重要要求。

人們越來越擔心算法收集和使用個人數據，這些算法在醫療保健、金融、保險和刑事司法等領域做出關鍵決策。2018 年實施的歐盟 GDPR（General Data Protection Regulation）旨在為個人提供更多對其個人數據的控制權。

智能交通系統 (ITS) 將先進的電子、信息和通信技術應用于道路和汽車。ITS實時收集、存儲和提供交通信息，可以方便和安全地運輸，提高可靠性、效率和質量， 減少能源消耗。

下表確定與 AV 中的安全和信息/解釋相關的標準：

這些標準分為兩組：1）人類安全相關標準，和2）信息或數據交換相關標準。目前還沒有自動駕駛的可解釋性標準。為了彌補這一差距，后面擴展表中突出顯示的一些現有 AV 法規和相關標準，以直接支持自動駕駛的可解釋性。

展望未來，任何必須參與解釋的人稱為利益相關者。這里將利益相關者分為三大類：

A 類（所有類型的最終用戶和社會）；

B 類（所有技術群體，例如開發人員）；

C 類（所有形式的監管機構，包括保險公司）。

在開發或評估解釋性的文獻中采用方法有三種：

首先、存在未經驗證的設計和評估解釋性的指南。

其次、了解用戶的需求可能有助于可解釋性的 AI 研究。

第三、一些解釋性設計方法來源于學術文獻形式理論的心理學構造。

有三種方法作為可解釋性的分類維度：

1.主要基于研究人員經驗而沒有進一步用戶研究來證明聲明合理性的解釋方法，歸類于未驗證的指南 (UG，unvalidated guidelines) 。

2.用戶研究引出用戶體驗的那些方法，歸類為經驗派生 (ED，empirically derived)；

3.建立在心理學理論之上，歸類為自正式理論的心理結構體 (PC，psychological constructs) 。

分類的其他維度，包括因果過濾器、解釋風格、交互性、依賴性、系統、范圍、利益相關者和操作等。假定解釋由因果過濾器或調查查詢生成，例如為什么、為什么不、如何以及假設。假設這些因果過濾器產生的解釋可能是事實（例如“為什么”解釋）、對比（例如“為什么不”解釋）或反事實（例如“如何”和“假設”解釋），如下表所示：

下面表格顯示分類的代表性子集，主要是在自動駕駛的背景下討論或實施的解釋性技術（注：該綜述包含了注意圖和熱圖的相關工作）：

一些開源數據集提供供解釋性開發的標注，其中用于收集數據集的傳感器分為exteroception和proprioception類型，可從解釋性中受益的利益相關者不同，見下表所示：

盡管數據集有助于開發解釋方法，但重要的是要注意這些數據集相關的潛在挑戰。每個數據集都是從世界的一個地區收集的，因此它們很可能無法泛化，尤其是在交通標志、規則和道路拓撲與其他地區截然不同的情況下，這可能會導致有偏見的駕駛決策。

此外，大多數數據集僅提供外部環境的視頻，不提供內部 AV 狀態數據。因此，人們擔心用該數據集設計的解釋性技術是否會非常遵從AV的真實情況。

事件數據記錄器 (EDR) 作為汽車中的記錄設備，用于記錄與車輛事故相關的信息。隨著自動駕駛汽車在社會中的增加和越來越受到公眾的關注，有必要將人類駕駛員的錯誤和疏忽與 AV 的錯誤（不適應或不良產品設計或產品缺陷引起）區分開來，并在解釋性中表達這些錯誤。

多年來，自動駕駛汽車在自動化水平、車載技術和接口（即車內的技術和接口）方面取得了發展。本質上講，SAE自動駕駛 級別從 0 到 2 的車輛，由于其復雜性低而具有較低的解釋性要求。對于自動駕駛3 級和以上的車輛，由于其復雜性高對解釋要求較高。

如下表 提供了 SAE自動駕駛 級別的解釋要求：車輛儀表（即測量有關車輛的某些儀表）界面演變為自適應顯示，內容以增強用戶體驗的形式呈現，并具有增強的定位功能，例如全球導航衛星系統 （GNSS）。

前面提到，一些標準與自動駕駛的可解釋性非常相關。例如，ISO/TR 21707:2008 指定了一組標準術語，用于定義 ITS 域中數據供應商和數據消費者之間交換的數據質量，這與 AV 可解釋性非常相關，盡管最初并不是這個目的。雖然數據質量很重要，但呈現方式和語言以及提供數據的界面對于自動駕駛的解釋性也很關鍵。

可解釋性有助于評估和合理化 AV 的操作，即基于結果（outcome）的解釋性，并提供有關 AV 設計、部署和管理的治理信息，即基于流程（process）的解釋性。這符合通用 AI 系統的信息委員會辦公室 (ICO，information commission office) 指南。

為了能夠合理化/解釋 AV 結果，即基于結果的可解釋性，在感知級（即 AV“看到”的內容）、決策級（即 AV 如何規劃路徑和運動）以及行動或控制級（即AV 如何按照其規劃行事或如何執行決定）的解釋性必須加以考慮。

AV 中基于流程的可解釋性提供有助于整個操作和 AV 管控進行獨立評估的信息。基于流程的可解釋性需要感知、決策和行動數據，包括整個 AV 操作的管控流程。這使事件或事故發生后立即重建成為可能，顯著減少未來改進提供推薦的時間。

文中建議一個將核心 AV 操作和組件組合在一起對可解釋規定的概念設計，如圖所示：

感知和定位操作融合在一起，因為兩者都直接從傳感器（激光雷達、雷達、GPS、IMU）接收輸入。感知系統提供世界/環境的數字 3D 表示，包括有關目標檢測、檢測和跟蹤不確定性以及目標位置的信息，并傳遞給行為和運動規劃系統，該系統通過估計風險、尋找緩解措施和 產生軌跡等做出決策。

行為和運動規劃系統的輸出通知車輛控制和驅動系統發送到執行器，改變車輛動力學，實現某些效果（例如，對觀察做出反應）。這些操作每一個都直接提供給系統管理模塊中的解釋器和事件數據記錄器（EDR）。EDR 組織其數據并向解釋者提供其組織的/結構化的數據。

解釋器可根據從不同操作和 EDR 獲得的數據組合生成解釋。可指定時間范圍解釋日志，批量請求解釋，也可以對話（即一次一個查詢）請求解釋。解釋日志可以提供基于過程的信息，對事故調查和有效的 AV 管制有用。當事件發生時，對話解釋對于基于結果的可解釋性很有用。

許多在自動駕駛背景下檢查解釋性的工作都是把信任作為目標進行的。這些工作涉及用戶研究，要么是與真實系統幾乎沒有或沒有直接聯系的的合成實驗室任務，要么是使用過的微世界。微世界是真實系統的簡化版本，其中存在關鍵元素，但消除了復雜性，有助于實驗的輕松控制。

AV 可解釋的研究主要集中在基于感知數據的解釋理論和實現上，而較少以用戶為中心的實證研究。利益相關者在解釋效用方面的考慮需要更多關注。此外，大多數提出的解釋方法不符合標準因果解釋的屬性。

建議采用跨學科的方法來解釋自動駕駛，其中來自行為科學（例如對話理論）、人機交互（例如用戶界面設計）、人工智能、倫理（例如，通過解釋揭示偏見）、哲學（例如因果解釋理論）和心理學（例如民間心理學）被采納。此外，開發的解釋技術應通過用戶研究、現場試驗或實驗室研究進行測試，以確保滿足在其設計中各個利益相關者的要求。

現有工作的一個主要限制是，所產生的解釋性可信度低。目前幾乎所有現有自動駕駛數據集中都缺少自動駕駛操作中間數據或狀態數據。此外，自動駕駛汽車可解釋性的現有工作僅僅是人類試圖使自動駕駛汽車或自車的行為得到合理化的解釋。從合理化中獲得的這些解釋用于注釋駕駛數據集，這些數據集隨后用于訓練深度可解釋模型。此過程的復雜性或黑箱性質使檢查變得困難，從而對附和度評估提出了挑戰。

當前研究的另一個嚴重限制是基于感知數據集的結果解釋模型中存在固有偏差。數據集有限并且不具有代表性，因為它們沒有以均等比率涵蓋所有可能的駕駛場景。

本文僅做學術分享，如有侵權，請聯系刪文。