作者 | Ammie
出品 | 焉知
為何寫本文呢？作為實現真正的自動駕駛而言，從現實意義上真的無法實現一步到位。事實上，從某種意義上講，實現自動駕駛中還有很多阻礙需要克服。比如如何解決駕駛過程中無法預知的conercase，如何實現更多更大意義層面的為用戶提供有意義的報警功能以確保適時接管以規避安全。從體驗上，如何探索更多對客戶有意義的APP能夠更快、更準、更智能化的為客戶服務。
對于自動駕駛人機交互策略中，主要涉及接管發起者與接收者在不同場景下的駕駛所屬權對應關系。其中發起者和接受者可以分別是系統和駕駛員。而對于自動駕駛的功能操作主要包括激活、干預、接管和最小風險策略。其中，當出現動態駕駛任務(DDT)相關系統失效或超出 ODD 范圍時，由系統發出介入請求，用戶通過控制橫縱向操縱系統等方式進行響應，這個過程被稱為接管（側重于駕駛員被動執行）；駕駛員在系統仍處于活動狀態時主動向橫縱向控制系統提供輸入，系統根據閾值判斷是退出功能還是繼續執行剩下部分的 DDT 任務，這個過程被稱為干預（側重于駕駛員主動執行）。
如上表所示，自動駕駛的駕駛權切換可以根據緊急程度，分為緊急狀況的駕駛權轉換、非緊急狀況的駕駛權轉換，在不同的狀況下，響應時間要求不一致。對于車企而言，需要針對不同的交互功能階段，可在數據庫開發、數據定制化采集、測試用例開發方面展開工作。
與此同時，針對人機交互中這些有關的算法開發需要進行持續優化，對智能交互中各項功能的評價與應用都要形成完整、有價值的分析報告。
目前市面上多款號稱L3級自動駕駛量產車爭先亮相，但基本每款均由于各種原因而未能達到真正L3級或未對外開放。在人工智能與“互聯網+”大背景下，無論從產品還是產業鏈角度，智能交互都將是為汽車產業帶來重大變革的核心技術之一，隨著車輛運行安全性和舒適性的需求日益提高，整車制造企業、自動駕駛系統供應商都在加速推進自動駕駛系統的量產落地，智能網聯車輛將長期停留在人機共駕的階段，當前應同步關注等方面。
為順應智能交互發展趨勢，需要關注等對人機接管的影響，形成智能駕駛新交互體驗。車載智能交互經歷了從物理旋鈕/按鍵到數字觸屏再到語音控制，最后進階為多模態（如手勢控制）的整個控制過程。不管是艙內外都已經在往更高程度的智能話發展, 艙外大家要開始考慮L3以上的問題，艙內要開始考慮多模態交互, 都需要更多的數據來幫助軟件迭代。
在不同階段各種交互模式分別成為其智駕階段的研發主題，且他們各自具備各自不同的優點。
|
|
|
|
|
|
|
隨著車內信息和功能的增加，交互方式無法滿足相應內容擴展
|
|
|
|
|
|
|
語音作為主交互模式，其他作為輔助和增強提高駕駛安全
|
|
|
|
從車輛、環境、駕駛員狀態等全面的感知、融合、決策、交互豐富多模的輸入，語音作為主交互模式，其余模態作為輔助和增強作用
|
|
目前車載智能交互技術現狀及人機共駕研究方面，主要傾向于對駕駛功能體驗、人機交互研究、人機接管的場景體系研究方面，且以上各方面均已成為政府、OEM、Tier1、自動駕駛公司、國內外高校等研究機構的重點研究問題和方向。分別從如下幾方面進行相應的研究：
研究車輛交互中聲音、震動、燈光的駕駛員功能體驗的效果；
研究各種車機信息交互之間的影響，使與駕駛員交互信息效果最優；
研究從駕駛場景（緊急制動、行人穿行 ）、駕駛員（年齡、職業、場景等）、車輛狀 態（主動接管、ODD場景的接管）等多維度的接管場景體系；
智能駕駛中的人機交互分為純粹的人機交互和人機接管兩個方向。其中，人機交互包含語音數據、人臉數據、手勢識別、人因數據等幾個方面。其上各方面分別是從數據采集，建立樣本庫，開發算法，到最終形成評價應用入手進行研究。而人機接管過程則更多與智能駕駛的控制過程做強綁定，實現需要從駕駛員、環境、采取機制等幾個大方向的研究策略。具體說來可包括如下幾個業務體系。
對于面向自動駕駛的人機交互解決方案來講，涉及在高級智能化階段基于高性能國產AI芯片的高安全性解決方案，以及聯合云端大腦，整合高精地圖、數據閉環、智能汽車運營等全方位云端智能化，構建智能汽車核心能力。整合路端智能化，支持車路協同功能的落地，極大提升系統安全性。
通過對智能交互業務梳理，可通過數據庫建設、測試用例、算法開發與評價應用等方面作為業務方向，同時對駕駛員行為全面監控，為人機接管提供更科學的依據，可以全面提升駕駛體驗。
語音數據庫建設應基于語料集設計、人員特色、噪音類型等維度：面向通訊、導航、車控等多維指令集；不同類型的人員組成、多種場景環境下的噪聲源信息。采集規則參照人員、語料集、噪聲源幾個方面進行。采集規則需要遵循國際標準、不同風格、特殊群體進行。其中人員以20-60歲年齡階段，每隔10歲為一段年齡平均分布。
噪聲源信息主要來之不同車型的噪聲源（包括多人背景、聲源定位、外部噪聲及多媒體干擾）。其中采集過程涉及不同車型的噪聲數據采集、不同車速引起的胎噪、不同場景環境下的噪聲、不同背景噪聲數據采集等幾方面。對于采集數據庫而言，則需要保證在從冷啟動、地上怠速、地下停車場怠速等不同場景下對于車窗開關及多媒體開關的不同響應。
語音交互的核心技術在于語音增強、語音識別、語義理解、對話管理、自然語言生成、語音合成、聲紋識別等，目前旨在進行算法的優化與技術積累。
語音增強涉及波束形成、聲源定位和聲源去躁。其中語音增強是一種利用聲源定位確定目標語音信號的方向，通過深度學習和波束形成的方法抑制噪聲和混響的算法模塊。如下圖，語音波束形成過程中實際是通過來自多個原始聲源和噪聲源的輸入疊加。其形成的聲源波束實際是各個音源的合成。在輸入后通過一定的算法提取出感興趣的且能量最高的聲源作為主處理聲源。隨后通過一些經典的程序，包括進行數據云端同步、多通信語音、目標掩蔽等處理手段形成的空間協方差矩陣，利用該矩陣進行掩模處理最終對聲源進行有效的去躁。期間，使用波束形成和深度學習相結合的系統，提升去噪性能。
除開以上初級的語音處理手段外，還需要通過一定懂得語音識別算法進行相應的語音識別。其中包括從語音數據庫中進行特征提取，聲學模型訓練，導出聲學模型。其次是利用文本數據庫中訓練的語言模型及語義字典輸入至語音解碼和搜索算法，最終實現語音算法輸出合適的語音。
通過對采集的語音喚醒與指令數據進行多重標注，并建設車載語音識別模塊的自動化測評方案，對算法進行評價。評價過程包括數據切分、數據標注、實際測試過程。
數據切分包含設置喚醒詞、指令詞、多重交互指令。其中，喚醒詞測試用例中需要包含基礎喚醒詞、相似喚醒詞、干擾喚醒詞。指令詞測試用例中包含設置基礎指令詞、性別干擾、噪音干擾、相似指令詞、多媒體音頻、背景音、甚至方言干擾、位置影響等。多重交互指令中，涉及選擇詞、錯誤輸入、內容輸入等幾個方面。
數據標注內容主要是針對樣本庫中的不同類型進行文本內容、詞槽標注、意圖標注、響應時間標注等。樣例庫中的主要幾大類分為通訊、地圖、影音娛樂、系統、車身控制、車輛信息查詢、生活信息查詢、聊天互動等。
測試過程包括對場景模塊的數據輸入后通過“測試語科”識別語音是屬于背景音、車內噪聲還是車外噪聲。測試內容涉及語音基礎識別、交互成功率、語音喚醒、語音打斷、語義理解、響應時間、聲紋識別等。
此外，針對語音測試結果需要利用合理的評價機制進行語音評價。就應用而言，都是針對車載語音識別功能，形成量產車功能對標報告、交互邏輯的梳理、駕駛員主觀體驗調研與交互場景類別的交互規則設計。評價維度是針對不同的場景（商務模式、家庭模式、愛人模式、朋友模式）形成對應主題下的主觀指標和客觀指標。客觀指標通常會從安全性、整體性、適應性、易用性四個維度去做分析，且對于這四個評價維度而言需要分配不同的評價比例。主觀體驗則著重于從識別率高、操作步驟簡化、合理語音引導、交互過程流暢程度、響應速度快、不產生使用困惑、注意力占用程度等幾個大方面進行的。
這里所講的視覺數據研究主要是通過對駕駛員人臉、眼部、手勢與不良駕駛行為等數據采集，建成駕駛員視覺交互數據庫，用于產品功能研發與競品車對標。其中，涉及駕駛員人臉眼動數據、身姿數據以及手勢識別數據等。比如，眼動數據指對眼部比如虹膜與眼瞼的關鍵點、瞳孔、視線方向等進行標注。身姿數據指對人體骨骼關鍵點位置進行打點，進行骨骼連線。臉部數據是對人臉進行26點、54點、96點、206點的人臉關鍵點進行標注，關鍵點跟蹤等。
從更加客觀的角度出發，基于駕駛員生理、心理與行為數據，需要結合車輛數據與接管場景數據可以進行車輛駕駛權切換的研究。
建立視覺匹配庫是進行一切研發的前提，如果單從智能汽車的角度上講，實際是前期我們現在比較關注的數據閉環子模塊中對數據的有效采集形成的。當然采集的座艙內數據是需要通過比較復雜的算法進行目標識別及分類的。提取感興趣的部分是進行后續視覺識別的前提。對于駕駛員面部識別的研究在前期智能駕駛過程已經是各家研究的重點，這里我們不做重點說明，本文主要關注下一個座艙視覺研發重點中的手勢識別過程。
算法開發中的重要一環是進行手勢數據切分與標注。對于手勢切分而言，主要是通過前期大量的針對不同光照、年齡、性別、手勢姿態的狀態識別建立可用的識別標簽。這些標簽實際是可以進行分類的。比如，大拇指狀態分類就有大拇指朝上、朝下、豎起大拇指、勾大拇指。手掌狀態則指手向內外推開、順時針逆時針旋轉手掌。兩根手指朝向向下滑動、兩個手指縮小、全速放大、向左右滑動、手向前后滾動、握拳。對于如上每個手勢而言都需要進行數據增廣以便形成與之類似的匹配數據庫。對于手勢標注而言，則是標注手部的21個主要骨節點，包括指尖、骨連接等。
通過對駕駛員的手勢、人臉、眼動、動作等視覺數據進行有效切分后進行標注與聚類，形成功能測試用例，用于功能的驗證與算法評價。針對手勢識別功能，從硬件平臺算力、產品性能表現、負荷狀態以及極限狀態下的表現等方面對手勢識別表現進行評價。
功能涉及通用功能和特定功能兩個內容。通用功能主要是指選擇、切換、確認等。特定功能：電話、多媒體、主界面等。在考慮一定影響因素（如手勢方向或座艙位置、手勢角度轉動、環境影響：光線、掛件等；操作范圍：遠近距離、左右范圍、上下范圍、手勢持續時間（動作快慢）等；）前提下，以在各類評價維度中，將響應時間、誤識別率、準確率、丟幀率作為首要考慮的要素。確保在車機運行狀態下性能滿足指標。這些性能包括駕駛員正常駕駛與操作狀態下的算力+性能表現；車輛長時間運行后對算力與性能的影響；車輛不同功能（導航、多媒體等功能下的3D渲染、動畫、視頻顯示等）開啟下的對系統剩余算力與性能的影響三個大方面。
當然，極限情況下還可以進行冗余測試。包括多手勢不停變換，手勢不標準，動態手勢中斷或視野范圍內指令不全，特殊群體手勢指令，車機功能高負荷運轉時識別表現，功能重疊時識別表現，主副駕多種手勢同時出現時識別表現，錯誤手勢等。
對于本文所提到的人機交互模式中需要進行包含各類語音、手勢、面部識別方面的算法優化。其中語音增強、語義理解、TTS是在進一步的語音開發中比較重要的方面。而手勢識別算法方面則更傾向于對硬件平臺、模型選取、算力優化以及負荷評價方面還需要努力提升。此外，面部識別方面則需要針對性的對眼動識別、表情算法進行優化。最后，在人因融合方面，則需要多加關注多維人因數據綜合評價等相關內容。
除開算法優化外，整個人機交互還離不開功能評價與應用。包含建立完整的評價體系，明確功能表現分級，進行基礎功能對標（涉及安全、精準、整體、體驗等內容的橫向對標過程）。通過智能交互落地簽功能級別的有效驗證對智能交互性能（包含精確率、誤識別、響應時間等）進行有效評價，對負荷模擬條件下智能交互表與告警進行交互功能評價，對單一量產車的智能交互功能進行縱向評價。
