人機交互的案例
自動駕駛人機交互[一]：自動駕駛人機交互的Why、What、Where
Ⅳ類HMI功能
在有人駕駛模式下，需提供Ⅲ類HMI所有功能，同時可支持駕駛員在車外的無人駕駛模式。適用于L4、L5級駕駛自動化系統。
下表2是四類自動駕駛人機交互功能的對比。
表 2 自動駕駛人機交互功能分類
自動駕駛人機交互的主要目標是保證系統的安全運行，其主要受到安全威脅的使用場景見下圖1。
圖 1 自動駕駛人機交互使用場景
場景一：自車感知系統失效
使用場景描述
指自動駕駛系統的環境感知傳感器（攝像頭、毫米波雷達、激光雷達、超聲波雷達）或先驗感知傳感器（高精地圖、GNSS）發生故障，無法有效獲取車道線、目標、交通標志等情況。
圖 2 自車感知系統失效
HMI響應要求
場景一對自動駕駛人機交互的響應要求見下表1。
表 1 自車感知系統失效場景HMI響應要求
*注：Ⅰ類/Ⅱ類/Ⅲ類/Ⅳ類HMI功能的定義參見《自動駕駛人機交互[一]：自動駕駛人機交互的Why與What》。
場景二：超出設計運行區域ODD范圍
使用場景描述
指當前車輛超出了自動駕駛系統定義的設計運行區域（地理圍欄、道路基礎設施、天氣、交通等）。
圖 3 超出設計運行區域ODD
HMI響應要求
場景二對自動駕駛人機交互的響應要求見下表2。
表 2 超出設計運行區域ODD范圍HMI響應要求
場景三：駕駛員狀態異常，無法正常駕駛
使用場景描述
指當駕駛員處于不在場、疲勞、注意力不集中等異常情況，而無法完成動態駕駛任務。
圖 4 駕駛員狀態異常
HMI響應要求
場景三對自動駕駛人機交互的響應要求見下表3。
展開 什么是人機交互技術？
什么是人機交互技術？
在人工智能電話機器人中，最為重要的技術當然是人機交互，什么是人機交互技術呢？
人機交互技術（Human-Computer Interaction Techniques）是指通過計算機輸入、輸出設備，以有效的方式實現人與計算機對話的技術。
人機交互系統的主要組成
1、多模態輸入/輸出：多模態輸入包括鍵盤、鼠標、文字、語音、手勢、表情、注視等多種輸入方式；多模態輸出包括文字、圖形、語音、手勢、表情等多種交互信息。
2、視覺合成：使人機交互能夠在一個仿真或虛擬的環境中進行，仿佛現實世界中人與人之間的交互。
3、 對話系統：主要由兩種研究趨勢，一種以語音為主，另一種從某一特定任務域入手，引入對話管理概念，建立類似于人人對話的人機對話。可通過該系統，輕松把握狀態信息。
4、知識處理：自動地提取有組織的，可為人們利用的知識。
5、智能接口代理：智能接口代理為實現人與計算機交互的媒介。
主要特點
多媒體系統的交互特點
基于語音的智能人機交互是當前人機交互技術的主要表現形式，語音人機交互過程包括信息輸入和輸出的交互、語音處理、語義分析、智能邏輯處理以及知識和內容的整合。
與傳統用戶界面相比，引入了視頻和音頻之后的多媒體用戶界面，最重要的變化就是界面不再是一個靜態界面，而是一個與時間有關的時變媒體界面。
人類使用語言和其它時變媒體（如姿勢）的方式完全不同于其它媒體。從向用戶呈現的信息來講，時變媒體主要是順序呈現的，而我們通常熟悉的視覺媒體（文本和圖形）通常是同時呈現的。在傳統的靜止界面中，用戶或是從一系列選項中進行選擇（明確的界面通信成分），或是用可再認的方式進行交互（隱含的界面通信成分）。
在時變媒體的用戶界面中，所有選項和文件必須順序呈現。
展開 有條件自動駕駛落地有效助力--人機交互與接管
分別從如下幾方面進行相應的研究：
1）功能體驗研究
研究車輛交互中聲音、震動、燈光的駕駛員功能體驗的效果；
研究各種車機信息交互之間的影響，使與駕駛員交互信息效果最優；
研究各類方式的交互效果的測評；
2）人機交互研究
研究實際應用中的人機交互的方式轉變與應用；
研究觸屏、語音、手勢、人臉等多模態交互功能開發；
為自動駕駛車輛的人機交互提供開發支持；
3）人機接管研究
研究體系與自動駕駛功能之間的對應關系；
研究從駕駛場景（緊急制動、行人穿行 ）、駕駛員（年齡、職業、場景等）、車輛狀 態（主動接管、ODD場景的接管）等多維度的接管場景體系；
智能交互業務體系
智能駕駛中的人機交互分為純粹的人機交互和人機接管兩個方向。其中，人機交互包含語音數據、人臉數據、手勢識別、人因數據等幾個方面。其上各方面分別是從數據采集，建立樣本庫，開發算法，到最終形成評價應用入手進行研究。而人機接管過程則更多與智能駕駛的控制過程做強綁定，實現需要從駕駛員、環境、采取機制等幾個大方向的研究策略。具體說來可包括如下幾個業務體系。
對于面向自動駕駛的人機交互解決方案來講，涉及在高級智能化階段基于高性能國產AI芯片的高安全性解決方案，以及聯合云端大腦，整合高精地圖、數據閉環、智能汽車運營等全方位云端智能化，構建智能汽車核心能力。整合路端智能化，支持車路協同功能的落地，極大提升系統安全性。
通過對智能交互業務梳理，可通過數據庫建設、測試用例、算法開發與評價應用等方面作為業務方向，同時對駕駛員行為全面監控，為人機接管提供更科學的依據，可以全面提升駕駛體驗。
展開 自動駕駛人機交互 [六]：最小風險策略MRM
作者 | HYZY
來源 | 焉知
知圈 | 進“HMI社群”請加微信15221054164，備注HMI
一、 MRM的定義
自動駕駛人機交互有一項基本要求為：當用戶無法及時響應自動駕駛系統發出的接管請求時，自動駕駛系統應執行最小風險策略MRM，以保證車輛運行安全（參見自動駕駛人機交互[四]：用戶接管和主動干預）。
這里最小風險策略MRM（Minimal risk maneuver）的概念源于功能安全標準ISO 26262，其準確定義為：在駕駛自動化系統或用戶無法執行動態駕駛任務或動態駕駛任務接管時，駕駛自動化系統所采取的降低風險的措施。
在自動駕駛系統功能設計中，為適應不同的需求，通常可以定義多種不同的最小風險策略MRM，常見的MRM見下表1。
二、 MRM的目標
根據最小風險策略MRM的定義，MRM運行的目標是保證車輛運行安全，而在自動駕駛系統設計中，“保證車輛運行安全”指的就是車輛進入了最小風險狀態MRC。也就是說，在自動駕駛人機交互中，當用戶無法及時接管駕駛任務時，系統應可以自動執行最小風險策略MRM，使車輛進入最小風險狀態MRC。
最小風險狀態MRC（Minimal Risk Condition）的定義為：當車輛無法完成預定的行程時，由用戶或駕駛自動化系統執行并最終使車輛事故風險達到可接受的狀態。常見的幾種最小風險狀態MRC定義見下表2。
展開 
267 基于matlab的信號處理GUI人機交互 ￥25.9
基于matlab的信號處理GUI人機交互，利用GUI功能完成包括振幅調制AM（Amplitude Modulation），雙邊帶調幅信號DSB（double sideband），單邊帶信號SSB（single sideband ），調頻FM模擬（Frequency Modulation）調制在內的調制解調過程，輸入波形及濾波參數可調，程序已調通，可直接運行。
自動駕駛人機交互 [五]：駕駛員狀態監控
作者 | HYZY
來源 | 焉知
知圈 | 進“HMI社群”請加微信15221054164，備注HMI
一、基本概念
駕駛員狀態監控系統DMS（Driver Monitor System）屬于自動駕駛人機交互的一部分，其使用攝像頭獲取的圖像及其它車身傳感器輸入的數據，通過視覺跟蹤、動作識別等技術監測駕駛員的駕駛行為和生理狀態，當判斷駕駛員不在場或處于非正常駕駛狀態時（疲勞、分心等），自動駕駛系統向駕駛員發出報警或執行其它安全策略，以確保車輛運行安全。
圖 1 駕駛員狀態監控DMS
從技術原理上，駕駛員狀態監控系統DMS可分為直接監控和間接監控兩種類型：
直接監控：通過傳感器獲取駕駛員頭部運動、面部運動、眼部運動、心電或腦電等直接表征駕駛員狀態的信號，用以判斷駕駛員的狀態；
間接監控：通過獲取駕駛員的駕駛行為信號及相關車輛狀態信號，間接判斷駕駛員狀態。
直接監控方式可獲取更多的駕駛員狀態信息，且隨著相關視覺技術的進步，其判斷結果可信度也不斷提升，多用于自動駕駛系統的人機交互。間接監控方式可獲取的駕駛員狀態信息有限，通常可用于駕駛員駕駛風格判斷及整車駕駛模式匹配。
二、駕駛員狀態定義
駕駛員狀態監控系統DMS可識別的駕駛員狀態見下圖2。
展開 人機交互領域取得重要進展
代表著人工智能人機交互領域的一項里程碑式的工作，并支持從基于觸摸的設備到語音操作的電子系統的演變。
人工智能(AI)、物聯網(IoT)和智能家居的快速發展正在以有意義和根本性方式更新我們的生活方式，而這種變化的基石是人和機器之間強大而準確的交流。連接用戶和機器的人機界面是這種交流的結構化系統，可以包括語音或手勢，后者是當前廣泛采用的語言。與機器的交流和互動正在改變我們的生活方式。然而，開發一種同時具有防水、耐磨、高保真和高精度人機交互功能的聲學界面仍然是一個巨大的挑戰。
來自重慶大學的學者報道了一種用于與機器通信的可穿戴式翻譯接口的防水聲傳感器(WAS)。由于內部微粒的聲音響應能力，IS具有明顯的0.1-20 kHz的頻率響應范圍，幾乎覆蓋了整個人體聽覺范圍。WAS對人體排汗穩定，顯示全方位響應，并顯示0.0001 kHz的出色頻率檢測分辨率。WAS具有一系列引人注目的功能，可以作為可穿戴的聲學人機界面和高保真的音樂錄制聽覺平臺。此外，在人工智能算法的輔助下，基于WAS的聲學接口具有顯著的98%的語音識別準確率。
展開 東京工業大學利用高精度3D打印技術輔助人機交互研究
其研究項目之一是如何提高機器人精密運動部件的靈活性，從而增強人機交互。在機器人的研發過程中，為保障運動結構件的精度，長谷川實驗室引進了高精度3D打印機——Raise3D Pro3。
“我想制造一個動作靈活的機器人。此外，我還想降低這項技術的成本，以讓它得到廣泛應用。”在面對目前市場上的機器人運動部件精度不足，導致運動靈活性低問題時，長谷川實驗室的Hasegawa Shoichi教授表達了他對機器人未來發展的愿景。
長谷川實驗室在毛絨娃娃的內部添加了一個機器人結構。雖然它外表看起來就是一個柔軟的毛絨玩具，但內部機器人卻有著復雜和精確的運動結構，如機械臂，軸承，電機支架。
這些部件和結構是由實驗室成員獨立設計和開發的，在設計和開發過程中他們遇到很多挑戰。首先，這些零件體積很小，結構特殊，需要使用高精密的制造工具，如CNC工藝。
展開 聚焦車載屏檢測，怎能不筑牢智能汽車人機交互安全線？
當汽車從單純的交通工具，進化為集出行、娛樂、交互于一體的智能移動空間，車載中控屏、儀表屏、AR-HUD等顯示設備，早已告別單純的“顯示工具”定位，成為人車交互的核心樞紐。一塊卡頓、失靈、工況不穩定的車載屏，不僅會徹底毀掉駕乘體驗，更會直接埋下行車安全隱患。
但行業現狀卻格外刺眼：據第三方汽車投訴平臺數據統計，智能汽車座艙相關投訴中，車載屏幕黑屏、觸控失靈、強光下可視性差、極端工況下卡頓死機等問題，占比超過35%，成為用戶吐槽重災區。消費電子屏直接“上車”、測試環節簡化、車規級驗證缺失，是行業普遍存在的痛點。
在智能座艙競爭步入白熱化的當下，車企比拼的早已不止是屏幕尺寸、分辨率與交互邏輯，更是極端場景下的穩定性與可靠性。而車載屏性能檢測系統，正是藏在產業鏈幕后、守住座艙品質與安全的關鍵一環，也是智能汽車從量產到上路不可或缺的“質檢守門員”。
從消費電子到車規級，車載屏測試絕非“簡單驗機”
手機、平板等消費電子屏的檢測邏輯，完全無法適配車載場景。汽車行駛環境的復雜性、工況的多變性，以及車規級嚴苛的安全標準，讓車載屏性能檢測成為一項系統化、全維度、高精準度的工程。
相比于家用電子設備，車載屏要直面-40℃至85℃的極端溫差、長期顛簸振動、復雜電磁干擾、強光直射、高低電壓波動等多重考驗，同時還要滿足全天候流暢交互、零失誤操作的行車安全要求。傳統人工抽檢、單一參數測試的模式，不僅效率極低，而且無法覆蓋全場景工況，極易讓不合格品流入量產環節。
車載屏性能檢測系統，正是針對車載場景專屬打造的全流程測試解決方案，徹底打破傳統測試的局限性，實現從硬件性能、交互體驗、環境適配到系統穩定性的全覆蓋驗證，全程貼合ISO 16750、ISO 26262等車規級標準，完成從研發、試產到量產的全生命周期質量管控。
展開 人?AI 交互:實現“以人為中心AI”理念的跨學科新領域
HAII 工作要落實該目標的實現：1)通過“人在環路”、人機交互設計，保證應急狀態下人類可接管或中斷系統運行；2)在重要的自主化系統中安裝“故障追蹤系統”來實現設計改善和人機故障問責制[40]，推動HCAI 理念中“人類可控AI”設計目標的實現。
3.6 智能人機交互
智能化人機交互為HAII 領域帶來了挑戰和機遇。AI 系統豐富的應用場景和用戶需求需要有效的人機交互范式[80]。現有人機交互方式(如WIMP)局限于有限的感知通道、交互帶寬不足、輸入/輸出帶寬不平衡、交互方式不自然等問題，已有研究提出了Post-WIMP 的范式[81]，這些范式需要HAII 工作的驗證。多模態融合及并行交互范式是今后HAII 的重要研究內容，這方面研究目前主要在AI、計算技術界展開，HAII 應該提供跨學科支持。HAII 還要在情境感知、意圖理解等方面取得更大突破[81-83]。
人?AI 合作的新型人機關系對人機界面設計提出了新要求。傳統人機界面主要基于“刺激?反應”理念的“指令順序”式交互，針對智能人機交互(情感、意圖識別、上下文檢測等)的多模態余度式交互，HAII 要設計有效的人機界面來支持人?AI 合作所需的情景意識分享、人機互信、人機控制分享等。
HAII 領域要開發針對AI 系統的人機交互設計標準。現有的標準主要是針對非AI 系統，國際標準化組織正在起草人?AI 系統交互的設計標準(ISO 9241-810)[36]，已有一些針對AI 系統的人機交互設計指南[16,64]，但是還需要HAII 領域的貢獻。
3.7 倫理化AI 設計
HCAI 理念推崇的倫理化AI 設計目標是AI 界目前普遍關心的重要問題。研究表明，AI 人員在職業培訓中通常缺乏應用倫理規范進行設計的培訓，AI 界已經認識到倫理化AI 設計需要多學科的合作[84]。
展開 自動駕駛人機交互[四]：用戶接管和主動干預
圖 1 人類駕駛員作為自動駕駛系統的“備胎”
接管的本質就是車輛駕駛控制權在“人”與“機”之間的轉換問題，根據駕駛權轉換的發起者和執行者不同，接管可分為由自動駕駛系統發起的被動接管和由用戶發起的主動干預。
圖 2 接管與干預
被動接管的準確定義為：當出現動態駕駛任務DDT相關的系統失效或車輛超出設計運行區域ODD范圍時，由自動駕駛系統向用戶發出接管請求，用戶通過控制橫縱向運動控制的方式予以響應。被動接管強調由自動駕駛系統發起，用戶被動執行。
主動干預的準確定義為：用戶在自動駕駛系統仍處于活動狀態時，主動向橫縱向運動控制裝置提供輸入，系統根據用戶的輸入是否達到閾值選擇退出功能還是繼續執行動態駕駛任務DDT。主動干預則強調由用戶主動發起。
二、被動接管
1、被動接管基本要求
觸發自動駕駛系統發出接管請求的事件可分為可預期事件和意外事件兩類：由可預期事件觸發的接管請求通常屬于非緊急狀況的駕駛權轉換，系統應盡早向用戶發出接管請求，以保證用戶有足夠的時間完成接管動作；由意外事件觸發的接管請求通常屬于緊急狀況的駕駛權轉換，一般難以保證用戶有足夠的接管時間。
圖 3 請求接管
系統發出的接管請求信號應跟隨請求時間逐步提升警告強度，例如從單純視覺信號報警升級到視覺信號加聲音信號報警，直至接管請求結束。
2、接管功能時序
當可預期事件觸發了非緊急狀況下的被動接管時，自動駕駛系統應繼續運行。如果用戶在一段時間后仍未及時恢復對車輛的控制，自動駕駛系統應能進入最小風險控制MRM，可通過逐步降低車速，確保車輛在可預期事件發生前剎停。
展開 
Pro/E優化人機交互的解決方案：Manikin
Pro/ENGINEER Manikin是一項PTC在2008年年底發布的三維人體模型新技術，由PTC內部對人體工程學，人機界面，CAD技術有深刻理解的研發團隊開發。Pro/ENGINEER Manikin包括Manikin Extension模塊和Manikin Analysis Extension模塊，用戶可以借此在Wildfire 4.0 M060及以上版本的環境下，模擬圍繞設計產品的生產、安裝、使用、維修等人為活動。
Manikin可緊密地集成在Pro/ENGINEER中，從而實現在用戶習慣的工作環境中，方便地使用。在今天的全球市場中，產品設計工程師經常要面對挑戰，確保他們的產品能夠在世界范圍內被順利地生產、安裝、使用以及維修。產品經常要求被作為針對某個特定人群的設計，而且要 確保產品使用時的安全規則及標準，在使用各種復雜、昂貴并且使用費時的傳統工具后，用戶表達了對產品越來越多的人性化設計需求。
由于在產品開發流程中缺乏工具的集成性，產品開發團隊一般情況下必須為了得到有關人的設計因素，重要的人體工學驗證結果而付出足夠的等待。在很多情況下，有關人的設計因素驗證需要長期的時間及高成本的物理樣機。如果一個產品的設計沒有達到用戶需求或滿足設計指標，那這中間的時間及金錢將會因為返工設計而翻倍。
Pro/ENGINEER Manikin為工程師和人機工程專家提供了一種易用的而且務實的設計方案。使用者可以在工業界的ISO標準下對設計進行虛擬的人機工程測試，而關于人的樣本因素，方案中提供了全球范圍的各種特征性選擇。實踐證明，越早地在設計中體現人機界面的設計優化，更多的開發時間及成本將被有效地節約下來了。
展開 超體：數字孿生化羽
電影《超體》提出一個猜想：如果人的大腦被充分激發，會發生什么？電影末尾給出答案——羽化為超體。該超體無所不能，法力無邊，可以通過網絡蔓延，最終無所不在。《超驗駭客》提出同樣的猜想，不過跳過大腦激發，人的思想直接進入網絡，從而成為超體。
在《數字孿生體的超級大腦》一文中，我們展望了如果賦予可以思維、計算和預測的左右大腦，數字孿生體將會怎樣。在《數字孿生體進化論》一文中，我們提出：數字孿生體將進化為物理世界的先知、先覺甚至超體。
今天，人的大腦能否被100%激發不得而知，人的思想何時能直接進入網絡，也還是未知數。但通過駕馭進化為超體的數字孿生體，人可以成為物理世界的超體。這個駕馭的媒介就是數字孿生體的人機交互界面。
在對數字孿生的研究與思考中，我們得出了一個基本的論斷：數字孿生體是個具有社會性的生命體。前面幾篇文章，我們分別介紹了數字孿生體的軀體、神經系統、超級大腦，以及基因系統。這些系統的特性，使得數字孿生體獲得了感知、思考、推理、判斷、預測等等能力，具有了生命體的特征，感興趣的讀者請參見“延伸閱讀”，這里不做詳細復述。本文說說數字孿生體的人機交互特征。作為數字孿生系統應用的重要組成部分，人機交互更像是數字孿生體的“五官”,但又超越五官所能提供的功能，將數字孿生體的應用推向極致。
1.虛擬現實技術：超體體驗
人機交互是人類與數字模型打交道的直觀可視化界面。這里可以展示數字孿生體的數據，了解數字孿生體的狀態，也可以操作和干預數字孿生體，同時實現對物理對象的干預。
數據的可視化展示技術以及虛擬現實技術是人機交互的兩個重要技術。
展開 數字孿生——智慧礦山的發展機遇
在智能礦山系統中，礦山數據模型是實現礦山決策學習自我優化的關鍵，同時也是數字四胞胎描述智能的另一種實現方式．在物理世界中的決策系統可以根據以往發生的事件而做出決策，即“吃一塹，長一智”，但在平行礦山數據模型構建技術的幫助下，可以對以往的事故進行多次學習，即“吃一塹，長多智”，實現智慧礦山操作系統的快速成長．人機交互協同是礦山智能開采中的典型應用場景，通過人機交互可以實現遠程控制、實時監測、精確定位與健康預測，提高礦山全息感知、可視化運維水平和智能生產效率。
基于數字孿生的人機交互，構建與礦山物理空間忠實映射的虛擬空間數字孿生體，通過基于ＡＩ的模式識別、手勢感知或語義理解等指令，實時更新虛擬場景的操作進程，實現人－機－環－控的智能協調與有機融合。
人工智能技術與咨詢，更多相關信息
展開 一個中央處理器的智能駕駛以及座艙解決方案
技術供應鏈
芯片必須要有操作系統和應用有了操作系統和應用就要有人機交互。所以我們分三塊對一個芯片的智能駕駛以及座艙解決方案的技術供應鏈進行分解
操作系統以及虛擬機
人機交互HMI以及UI
應用
操作系統以及虛擬機，操作系統其實當前就是三個主要的核心操作系統，其他更多的是基于其修改。
黑莓QNX以安全為核心也贏得不少汽車廠商的信賴，其中Linux和Android 由于是免費開源，生態開放，但缺少汽車應用的安全保障所以一般進入汽車行業是有更多的聯盟和二次開發的版本支持，例如車規Linux聯盟有AGL和GENIVI 。
當然國內華為的鴻蒙系統正在覬覦這塊市場。
首先一個芯片要支持四個域同時要滿足不同的功能和安全等級需求那么這個時候可能需要多個系統的支持，需要多個系統的支持那么就會需要存在虛擬機hypervisor
儀表顯示交互HMI以及UI-有系統和應用那么人機交互在智能駕駛座艙和自動駕駛時代就顯得尤為重要，可以想象汽車中更多的顯示屏幕以及AR顯示屏幕，汽車廠商會根據自身產品特征以及定位去定義顯示的HMI，而消費者你會希望更吸引和舒適的HMI，甚至你會希望自己更換符合自己個性的HMI和UI.所以這個時候開發HMI以及UI的技術以及供應鏈會顯得重要，當前汽車行業的HMI開發軟件會跟隨電腦以及消費電子的開發軟件，當前汽車行業HMI和UI 人機交互開發軟件應用有 unreal 和QT。
展開 