座艙感知系統的案例
智能座艙全艙感知系統SCSS
智能座艙成果易感知，有助于迅速提升產品差異化競爭力，正成為中國消費者購車和用車體驗的關鍵決策因素。
智能座艙系統級解決方案具備感知能力、呈現能力和處理能力，包含攝像頭模組、麥克風、 氛圍燈、流媒體后視鏡、增強現實抬頭顯示、智能座椅、域控制器等部件，可深度融合 ADAS、TBOX、車身、高精地圖等信息，打造一體化智能座艙解決方案。
系統解決方案
基本功能
經緯恒潤智能座艙方案具備駕駛員監控系統（疲勞檢測、抽煙檢測、打電話檢測、注意力檢測）、FaceID認證、、自動座椅調節、情緒氛圍燈、智能提神模式、智能天窗、AR-HUD 融合顯示等組合功能。
艙內攝像頭
經緯恒潤具備成熟的艙內攝像頭產線和開發布置能力，可針對用戶需求進行適配。兩百萬像素高清攝像頭滿足艙內精確識別需求，超大視場角實現座艙全覆蓋（DMS 視場角：H:58° ,V:47.6°；OMS 視場角，H:110° ,V:68°）。
左：DMS 右：OMS
圖示 SCP控制器ECU
圖示 安裝位置
產品優勢
具備駕駛員及乘客視覺檢測功能，支持多模語音輸入，深度融合車內車窗、車門、座椅、高精定位模塊、AR-HUD、氛圍燈， 具備系統級解決方案能力
成熟的攝像頭模組開發經驗以及控制系統集成能力
專業的整車布置支持團隊
擁有自主完整的 AA 組裝、標定以及 EOL 的生產制造工藝流程
完備的供應鏈體系
系統級、車規級解決方案
產品定制化開發服務
配套客戶
展開 AI座艙“讀心術”：場景感知與主動服務的交互革命
方向盤前的你剛感到一絲疲憊，座艙燈光就已自動調暗，舒緩的音樂緩緩響起；你正準備詢問導航路線，車機系統已提前推薦出最優路徑——這不是科幻電影，而是當下AI智能座艙正在實現的“讀心”體驗。
隨著汽車智能化浪潮席卷而來，AI座艙正從簡單的功能執行者進化成能夠洞察用戶需求的“智慧伙伴”。通過融合多模態感知技術與人工智能，座艙系統能夠識別駕乘人員的情緒、疲勞狀態甚至行為意圖，從而提供精準的主動服務。
這種被俗稱為“讀心術”的交互能力，正在重新定義人車關系，將汽車從單純的交通工具轉變為真正的“第三生活空間”。
01 從響應到預判：AI座艙的交互變革
傳統汽車座艙遵循“指令-響應”的被動交互模式，而AI座艙的革命性在于其主動感知與預判能力。
在2025 CES展上，吉利銀河E8展示了這種“有溫度的科技”：坐進駕駛艙的瞬間，Flyme Auto系統搭載的端到端語音大模型就能捕捉駕駛者的語調變化——疲憊時自動調暗燈光播放舒緩音樂，興奮時切換運動模式并推薦適合的路線。
這種仿佛被“讀心”的體驗背后，是行業首個能解析情感語義的AI交互系統。
智能座艙的智能化水平已從簡單的功能堆砌，演進到以“感知能力、交互能力、服務能力和互聯能力”為核心的綜合體驗。
市場數據顯示，到2025年，中國智能座艙滲透率將超過75%，成為汽車產業發展的主賽道。
02 多模態融合：AI“讀心”的技術基石
AI座艙的“讀心”能力建立在多模態感知技術融合的基礎上。通過融合視覺、語音和車輛數據，系統能夠全面理解駕乘人員狀態和需求。
視覺感知：從人臉識別到微表情分析
視覺系統能識別疲勞駕駛的多種特征：眼球轉動減少、眨眼頻繁、瞇眼、打哈欠和動作遲緩等。
展開 下午直播 | Ansys面向感知系統的仿真驗證技術
針對當前L3以上自動駕駛汽車開發對感知越來越多的應用需求，傳統的實車測試不僅人成本高昂，同時無法覆蓋感知測試所需的海量邊緣場景。Ansys 基于物理的傳感器仿真可以實現高精度攝像頭，激光雷達和毫米波雷達實時仿真，幫助用戶加速高等級自動駕駛功能開發需求。
工業AI系統的風險感知與容錯治理
風險感知讓系統知道危險，
容錯治理讓系統懂得回頭。
當一個AI系統既能學習、又能克制，
既能冒險、又能自救，
那才是真正值得信任的“工業智能”。
一句話總結：
“AI的成熟，不在于預測得多準，而在于出錯時能不能自己穩住。”
工業的智能化進程，
不是讓算法主導世界，
而是讓系統學會——
在不確定中保持秩序。
自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 奔馳NTG7座艙和HERMES3車聯系統
在智能座艙里面，可視化的屏幕、HUD是消費者首先觸及的特征；而座艙SOC芯片是支撐的骨干，軟件則是智能座艙的核心。
去年寫完《奔馳的信息娛樂系統的迭代》之后，我想對現有披露的NTG 7的系列做個整理，包括很多家機構都對NTG7的幾個硬件版本做的分析。奔馳從NTG5、NTG6到NTG7，分別使用Tegra K1、Parker和Xavier NX，在NTG8可能使用兩個核心版本來做。
▲圖1. 奔馳智能座艙的迭代
NTG7 的智能座艙系統在整體的主導設計方面很有探討的價值，有意思的是，哈曼和奔馳是什么樣的合作關系，在這里面核心的系統，都是哈曼幫助奔馳來構建的。NTG系列的智能座艙主機主要包括NTG7 MID、NTG7 HIGH和NTG7 PREMIUM，還有一個后排娛樂的NTG RSU，配合HERMES3構建了新一套的系統。
因為內容比較多，我想分拆成上下兩篇文章，上篇主要是NTG 7的兩個主機，后篇主要針對HERMES 2和3（3的準確信息還沒出來，涉及V2X等等），為什么奔馳一定要把這個單元進行獨立。
實際上這套座艙系統還包括LG的兩塊屏幕、日本精機的HUD，包括后排的兩塊屏幕。整個控制系統包括座艙主機、儀表IC、座艙后排主機RSU、T-Box，外接功放和無線充電模塊。
▲圖2. 奔馳的新一代NTG 7 座艙系統
Part 1 NTG7 Premium
這個主機也是一個典型的風冷系統，整個接口分為傳統通信和各種對接屏幕的接口。
▲圖3. NTG7 的接口
在這里插一句，為什么傳統車企需要把座艙的幾塊板子分別做功能定義，然后在縱向一字排列。我的理解這里面價值量差異很大，隨著多層PCB往大板方向走，在制造和加工，甚至在后期維護方面可能都存在大量的售后風險。
▲圖4.
展開 一文詳解智能駕駛感知系統測試技術
摘要
隨著人工智能、邊緣計算、無線通信和車載傳感器等關鍵技術的進步和突破，自動駕駛系統迎來了新一輪的發展。交通應用的安全攸關場景給自動駕駛系統提出了更高的質量保障要求。感知系統是自動駕駛的核心，圍繞感知能力的測試驗證工作是保障自動駕駛軟件系統安全可靠的有效且必要途徑。本文簡要分析了國內外自動駕駛感知系統測試的研究現狀，并對圖像、激光雷達、以及感知融合測試方法和技術發展進行了討論。
前言
隨著人工智能及其軟硬件技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用于民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析并理解內外交通環境信息。然而，與其他軟件系統一樣，自動駕駛感知系統困擾于軟件缺陷。并且，自動駕駛系統運行于安全攸關場景，其軟件缺陷可能導致災難性后果。近年來，已經發生多起自動駕駛系統缺陷導致的人員傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬仿真測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由于自動駕駛系統輸入數據類型的特殊性和運行環境的多樣性，這類測試技術的實施過程需要消耗過多資源，并需要承擔較大風險。本文簡要分析當前自動駕駛感知系統測試方法的研究和應用現狀。
1 自動駕駛感知系統測試
自動駕駛感知系統的質量保障越來越重要。感知系統需要幫助車輛自動分析和理解路況信息，其構成非常復雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。當前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別于傳統測試的重要特征，即對于測試數據的強依賴性。
第一類測試主要基于軟件工程理論和形式化方法等，以感知系統實現的模型結構機理為切入點的測試。
展開 高階自動駕駛系統的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構向集中式域控制器架構演進已經成為下一代自動駕駛系統不可逆轉的趨勢。對于下一代集中式域控架構下到的自動駕駛系統來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內，系統功能集成度大大提高，這樣對于功能的感知與執行的硬件要求降低
。但是，
域控制器的出現并不代表底層硬件 ECU 的大規模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執行層面功能保留），大部分傳感器也可以直接傳輸數據給域控制器，或把數據初步處理后給域控制器，很多復雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執行域控制器的命令，也就是說，外圍零件只關注本身基本功能，而中央域控制器關注系統級功能實現。此外，數據交互的接口標準化，會讓這些零部件變成標準零件，從而降低這部分零部件開發/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環境信息的軟件算法模塊
，比如ISP、encode、神經網絡、深度學習單元等AI算法。然而，在下一代高階自動駕駛系統中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進行集中式處理。那么，問題來了，對于這類型的自動駕駛系統架構模式，攝像頭模組本身的需求將會發生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
Ansys為面向L3+的自動駕駛應用提供了一系列可擴展的面向高級自動駕駛功能設計、開發和測試驗證的工具和系統平臺，針對目前難度較大的感知系統仿真驗證，Ansys提供高精度的物理傳感器、三維環境與駕駛仿真能力，從而縮短自動駕駛的測試周期和巨大的路試花費。
自動駕駛系統中視覺感知模塊的安全測試
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 系統級仿真 | Ansys聯合Onsemi推動車輛感知能力的未來發展
</p><p>— Shaheen Amanullah，onsemi智能傳感團隊成像系統總監</p><p><br></p><p><br></p><p><strong>仿真能夠準確預測和驗證各種駕駛環境中的傳感器功能性</strong></p><p><br></p><p>我們可能很難想象這樣一個世界：人類放棄駕駛控制權，讓車輛來自行駕駛。但事實上，我們現在就能瞥見這樣的未來。如今，道路上的許多車輛已經受益于高級駕駛輔助系統（ADAS），這些系統使用攝像頭、雷達和激光雷達等傳感器技術來避免與障礙物發生碰撞，幫助我們保持在車道內、進行平行泊車等。</p><p><br></p><p>所有這些系統都由人工智能（AI）傳感進行指導，例如計算機視覺，它是自動駕駛汽車（AV）感知堆棧的核心功能。AV技術堆棧由多個功能層組成，包含特定的功能模塊，負責自動駕駛所需的感知、連接、處理、分析和決策。與人類駕駛員非常相似，車輛的感知堆棧也會“環顧四周”，從車輛傳感器收集數據，然后對數據進行處理，以了解目前的駕駛環境并對其做出響應。</p><p><br></p><p>作為自動駕駛領域的兩大關鍵參與者，Ansys與onsemi合作提供獨特的解決方案，以推進感知領域的發展，該解決方案包含了雙方互補的技術，為原始設備制造商（OEM）和一級供應商提供了一個生態系統，以推動其開發和感知驗證目標。</p><p><br></p><p>作為電源和傳感技術領域的領導者，onsemi的目標是促進創新和開發智能技術，以解決復雜的客戶挑戰——包括車輛感知方面的挑戰，從而支持AV的開發。與Ansys的合作使onsemi能夠創建系統級仿真，以分析其開發決策的影響，并推動其技術進步。onsemi團隊創建了傳感器模型和虛擬數字孿生，然后使用Ansys AVxcelerate仿真來整合各種駕駛場景，從而將傳感器模型轉化為系統級仿真。
展開 
一文了解面向無人駕駛感知系統的仿真驗證技術
對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是，當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術，可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys解決方案
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 高級自動駕駛系統的新型三大感知能力要素分析
3、當攝像頭傳感器得到升級后，低等級的自動駕駛系統架構采集的數據是否可以直接應用于高等級自動駕駛？
自動駕駛算法的構建和迭代都是以數據作為驅動的，尤其是感知和預測模塊，并且很多時候都是要在過程中做到很好的數據閉環。
自動駕駛的算法模塊，尤其是感知和預測模塊，基本都是數據驅動，可見數據對算法迭代的重要性。這里需要說明的是，很多智能駕駛算法公司都是前期通過數據采集進行算法訓練參數得到的，而低等級智能駕駛系統的數據采集往往采用了低等級的傳感器，不管是在分辨率、檢測距離、誤檢漏檢等方面均不及高等級自動駕駛。因此，對于高分辨率攝像頭檢測而言，除了需要通過之前采集的數據繼承低像素攝像頭的一些基礎性能外，也可以通過場景建模來實現部分場景重構。此外，對于一些極端場景，則需要利用高分辨率攝像頭進行數據采集和重新的算法訓練，進而無限的提升其檢測效果，實現數據閉環。
4、高分辨率攝像頭是只進行前裝（前視攝像頭）還是整個鋪開（側視、后視攝像頭）？
對于高階自動駕駛系統來說，前視需要解決的場景最多，目標識別任務最復雜，比如遠距離小目標識別，近距離目標切入識別，這兩者對于攝像頭的波束開角和分辨率都有較高的需求。對于側視和后視攝像頭來說，其感知場景的要求則相對簡單些，這兩者的主要需求都基本在對于自動變道場景的側后方目標探測上。因此，從成本和效率上講，側視/后視場景采用一般分辨率的攝像頭即可滿足要求。而對于環視攝像頭而言，通常是在中低速情況下通過大視角短距離檢測泊車入位的車道線和車輛目標。因此，采用中低分辨率攝像頭也能夠滿足目標探測要求。同理，對于智能座艙內的攝像頭，通常采用的是包含駕駛員在位識別、人臉識別、情緒識別等，基本上采用適中的攝像頭分辨率即可。
展開 無人系統態勢感知系列課程教學設計與實踐
《無人系統綜合路線圖（2017-2042）》指出無人系統自主能力和魯棒性的提高，能夠改進對環境的感知，提高目標定位的速度和精度，支持無縫、敏捷、自主的人機協作和機器相互之間的協作，預計到2034年實現在線態勢感知，具有完全自主能力[3]。
無人系統技術以人工智能、自動控制等學科為基礎，具體體現在無人系統的四大核心部分：感知、導航、規劃、控制 [4]。無人系統態勢感知技術是無人系統平臺的重要支撐技術，交叉融合很多學科的研究，除了高性能傳感器、嵌入式計算機等硬件設備和相關技術外，更需要包括模式識別、載荷控制、機器視覺、機器學習等在內的核心關鍵技術支撐，使無人系統具有像人一樣感知、認知外界環境的能力，并與外界環境進行交互，完成偵察、監視甚至作戰攻擊任務。目前，全國有多所大學開設了無人系統技術相關專業[5]，如國防科技大學、空軍工程大學、海軍工程大學等設置了無人裝備工程專業，北京理工大學、中北大學等大學設置了智能無人系統技術專業，還有很多高校設置機器人、無人飛行器或者無人駕駛車輛等與無人系統技術相關的專業。如何構建滿足無人系統相關專業建設需要的無人系統態勢感知系列課程，探索針對性的教學模式和實踐教學方法，是需要解決的重要教學問題。
二 無人系統專業態勢感知系列教學課程建設——以國防科技大學智能科學學院無人裝備工程專業無人系統態勢感知系列課程為例
（一） 態勢感知系列課程建設思路
基于無人裝備工程專業創新型、復合型人才培養模式的定位，需要制定出相應的多學科交叉的課程體系，包括規劃理論課程體系和綜合實踐教學。強化創新實踐能力培養，實踐教學環節累計學時不少于總學時30%。
展開 