感知的案例
自動駕駛汽車感知系統關鍵技術綜述
2 感知系統
感知系統目的包括：①安全性：實時、準確識別周邊影響交通安全的物體，應對突發事件，為采取必要操作以避免發生交通安全事故；②通過性：基于自身行駛性能、周邊路況和共識規則，能夠實時、可靠、準確識別并規劃出可保證規范、安全、迅速到達目的地的行駛路徑；③經濟舒適性：為車輛高效、經濟、平順行駛提供參考依據。目前，感知系統主要是利用傳感器、定位導航 、車聯通信（VehicIe-to-X，V2X）3種技術組合實現上述目的。
2.1 傳感器
傳感器感知的對象包括行駛路徑、周圍障礙物和行駛環境等。感知行駛路徑是對可通行性道路的識別，在城市中包括信號燈、各種標志牌、車道線、路障等目標的識別；在野外包括車輛前方路面平坦情況、可通行道路分析等。感知周圍障礙物是識別影響自動駕駛車輛行駛的靜止或者移動的各種障礙物，包括路面上的車輛、行人、路障等。感知行駛環境是判別對自動駕駛車輛行駛影響比較大的變化環境，例如路面、交通與天氣等。
主流的傳感器感知技術包括視覺感知、激光感知、微波感知等。視覺感知是基于攝像頭采集的圖像信息，使用視覺相關算法進行處理，認知周圍環境；激光感知是基于激光雷達采集的點云數據，通過濾波、聚類等技術，對環境進行感知；微波感知是基于微波雷達采集的距離信息，使用距離相關算法進行處理，認知周圍環境。3種環境感知方法的比較如表2所示。根據各類傳感器技術特點，不同應用場景和系統功能需求下，應選不同的傳感器技術。例如，在高速公路環境下，由于車輛速度較快，通常選用檢測距離較大的微波感知；在城市環境中，由于環境復雜，通常選擇檢測角度較大、信息量豐富的激光、視覺感知技術。
現在廣泛應用的各類高級駕駛員輔助系統ADAS使用各類傳感器，實現了相應的輔助駕駛功能，為實現完全自動駕駛奠定了基礎，如圖2所示。
展開 無人駕駛汽車環境感知技術綜述
2 無人駕駛汽車環境感知系統研究現狀
2.1 Boss無人駕駛汽車的環境感知系統
Boss無人駕駛汽車的感知系統是由兩個相機，九個激光雷達和兩個IBEO組成。其中九個雷達又分為一個三維激光雷達，六個二維激光雷達和兩個毫米波雷達。雷達主要用來檢測靜態的障礙，當道路前存在障礙物時，首先由雷達檢測并生成相應的障礙物地圖，如果障礙物為移動障礙物時，會自動從障礙物地圖中剔除。
2.2 Junior無人駕駛汽車的環境感知系統
Junior無人駕駛汽車的感知系統是先由一個測量單元通過與衛星系統相連接感知車輛當前的具體位置。在車輛兩邊安裝兩個傳感器，通過激光感知車輛前方路面情況，并生成車輛周圍路面的3D結構。在車頂、尾部和保險杠處分別安裝2個激光傳感器，感知車輛周邊的障礙物。把多個傳感器感知測量一個時間段內的局部路面情況匯總，組成一個路面情況地圖，防止一個傳感器在一小段路面上存在盲點[3]。
2.3 Talos無人駕駛汽車的環境感知系統
Talos無人駕駛汽車的感知系統主要是由安裝在車前三個，車后四個的近距離傳感器組成，由這些傳感器感知車輛附近的障礙物情況。由車頂的激光雷達傳感器感知車輛周圍障礙物和路面情況，而且該傳感器傳回的信息分類較為精細，能夠明確區分是障礙物還是路面的信息，并且根據不同分類建立相應地圖結構。
但是車頂的激光雷達傳感器檢測也存在盲區，因此在其附近安裝五個近距離傳感器俯視車輛周邊的路面情況，能夠有效避免盲區。由安裝在車身周圍的五個相機進行視覺環境感知，檢測車周車道線。由安裝的十五個毫米波雷達檢測遠距離的障礙物。
2.4 Google無人駕駛汽車的環境感知系統
Google無人駕駛汽車的感知系統是由車頂安裝的激光雷達來檢測與車輛周邊障礙物的距離，并反饋回系統創建三維地圖。
展開 一文詳解智能駕駛感知系統測試技術
本團隊致力于研究自動駕駛感知測試數據生成、評估和優化方式，重點面向基于圖像、點云數據和感知融合測試三個方面開展深入研究，以保障高質量的自動駕駛感知系統。
激光雷達感知方案
2.2 系統方案
該方案在車輛正前方和車尾左右兩邊分別安裝一顆MID-70用于前方和側向補盲，由于MID-70的有效檢測范圍較短，如需增強前向環境感知能力，可在車前方左右兩側分別安裝一顆Horizon用于中距離感知：
2.3 方案評估
該方案采用圓形視場角的MID-70補償了貼近車身的盲區，尤其是增強型方案配合Horizon的中距離探測，較好的提供中低速場景的環境感知能力，唯一缺陷就是后向無法探測來車情況，如遇轉彎，變道等情況較難應對。
3. 高速場景的激光雷達感知方案
3.1 硬件配置
Livox有一款專為遠距離、高精度探測打造，可感知 500 米外的障礙物，且體積小巧、可靠性強的激光雷達Tele-15。可在高速行駛中為車輛帶來更充裕的響應時間，保障安全。
雖然Tele-15的探測范圍很遠，但是其視場角只有14.5°×16.2°，所以在高速場景中往往與Horizon配合使用。
展開 
無人系統態勢感知系列課程教學設計與實踐
智能科學學院無人裝備工程（無人機技術與保障）專業，總共設置15門理論課程，包括無人機系統原理與運用、無人機飛機系統、無人機自主飛行控制技術、無人機態勢感知與情報處理、無人機測控與信息傳輸技術、無人機系統設計綜合實踐項目等，共計312學時的課程安排，其中理論課程182學時，實踐課程130學時。
無人機態勢感知系列課程圍繞無人機態勢感知與情報處理技術展開，課程內容如圖1所示，旨在培養學生無人機系統的目標識別與跟蹤、圖像情報處理、情報數據挖掘、態勢可視化等核心關鍵技術，并結合軍事或工程領域的前沿進展開展教學內容建設。其中，最主要的是無人機態勢感知與情報處理課程，課程具體包括態勢感知緒論、無人機感知傳感器技術、無人機環境感知技術、無人機情報信息處理技術、態勢感知的本質特征與分析方法、態勢綜合處理技術等理論內容建設，以及無人機環境感知技術和無人機情報信息處理技術的實踐內容建設。課程內容貫徹厚基礎、重想法、多碰撞的教學理念，以典型的無人系統或裝備入題，引導學生開展深入學習思考，熟悉無人機態勢感知與情報處理的關鍵技術，著力培養學員在無人機態勢感知與情報處理領域發現問題、分析問題、解決問題的能力。
圖1 無人機態勢感知與情報處理課程內容
無人裝備工程（無人機技術與保障）專業中的無人機載荷控制技術、無人機測控與信息傳輸技術為無人機態勢感知與情報處理技術課程提供了傳感器載荷、圖像情報信息傳輸等知識基礎。通過無人機態勢感知與情報處理技術課程學習，學員了解無人機戰場環境感知與情報生成的技術體系，熟悉無人機態勢感知包括圖像信息獲取、圖像處理、目標檢測的各項關鍵技術，以及從圖像數據獲取到情報信息轉化的流程、實現和可視化方法。
展開 自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
Ansys 行業應用方案連載 | 面向無人駕駛感知系統的仿真驗證技術
無人駕駛技術在當今5G和人工智能的催生下越發蓬勃地發展，滿足完全面向L3+的自動駕駛能力是未來兩年國內外自動駕駛技術產品化的主要目標。對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys解決方案
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 無人水面艇感知技術發展綜述
以上對無人艇的研發改進均以其平穩航行為基礎，而無人艇安全航行的關鍵在于迅速避障并能實時優化航路，即自主船舶對周圍水域環境的準確感知。因此，對于無人艇的核心要求是使其能夠通過感知周圍環境及自身情況來實現態勢感知，從而實現目標檢測、跟蹤、導航定位等功能。感知系統包括外部環境感知系統及自身狀態感知系統，能夠為無人艇的決策與控制提供必要的數據源支持。
基于感知技術在無人艇領域的重要性，國內外學者紛紛展開無人艇感知技術的研究。現有的無人艇感知技術理論主要分為2大類：1)無人艇外部環境感知，包括搭載雷達、聲吶、視覺傳感器、毫米波雷達(millimeter wave radar)及激光雷達(LiDAR)等多種傳感器來實現目標檢測、目標跟蹤等功能；2)無人艇自身狀態感知，包括搭載慣性測量單元(intertial measurement unit，IMU)、GPS等傳感器實現無人艇的自定位，這也是無人艇確定其相對于環境的位置的能力體現。
1 目標檢測
無人艇環境感知面臨一個嚴峻的問題是如何實現準確停靠岸和精準避障，而解決這個問題需要無人艇具備良好的水面目標檢測能力。針對目標檢測，現階段學者們主要考慮以下2種應用場景：第1種是面向避障功能的目標檢測，包括岸線、冰山、移動船只、航行中的不明障礙物等；第2種是面向作業功能的目標檢測，包括橋梁結構、港口設施以及水中生物、水體環境、海底結構等。
1.1 面向避障功能的目標檢測
針對避障進行的目標檢測是現階段學者們研究較多的領域，各國學者采用不同的傳感器，并改進算法進行USV航行過程中的目標檢測。
Xu等[11]提出了現階段利用全景攝像機分析水面情況的USV目標檢測研究現況，主要檢測航行過程中的非水物體，包括海岸線、航行危險物以及其他移動船只等。該方法通過利用卡爾曼濾波器來完成特征定位，能夠很好地檢測固定目標的特征。
展開 自動駕駛的視覺感知包括哪些內容？
來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
目錄
傳感器組件
相機標定
數據標注
功能劃分
共性問題
模塊架構
視覺感知系統主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態目標檢測（車輛、行人和非機動車）
靜態物體識別（交通標志和紅綠燈）
可行駛區域的分割（道路區域和車道線）
這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統的檢測速度，減少計算參數，而且可以通過增加主干網絡的層數的方式提高檢測和分割精度。
展開 自動駕駛感知數據閉環簡析
Localization和Perception分別是定位和感知模塊，是處理汽車周圍環境信息的功能模塊，負責將各類傳感器收集到的數據進行加工和處理，用結構化的結果來描述汽車周圍的場景。Planning是規劃模塊，負責對結構化的場景信息進行下一步的處理，通過計算得到一條安全可通行的路徑。Control是控制模塊，負責把規劃的結果轉換成對電子油門、電子剎車和電子轉向的控制信號，最終實現對車輛運動的控制。
這其中，感知模塊需要對大量的傳感器數據進行實時處理，需要準確且高效地識別場景信息，因此是最有工程挑戰的子模塊之一。
下圖是Apollo開源項目的感知框架圖，可以看到整個感知部分的結構是比較復雜的，多條數據處理路線并行展開，每一個節點子模塊都會涉及到很多算法處理，同時，這些路線之間還會有相互的數據交換，最后，綜合處理多條路線的結果得到感知模塊的輸出。
圖2. Apollo 6.0版本感知框架圖
來源：Apollo項目GitHub
地址：https://github.com/ApolloAuto/apollo
下文將簡單地剖析一下感知模塊的框架，從數據流動的維度講述感知模塊是如何運行的。
我們先從簡單的模型入手，把感知模塊拆分成數據輸入、數據處理、數據輸出三個部分，再分別對每個部分進行深入探討。
圖3. 感知模塊數據流動簡圖
數據輸入過程
首先是數據輸入端。
展開 一文了解面向無人駕駛感知系統的仿真驗證技術
所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是，當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術，可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 
行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys解決方案
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 行業應用方案 | 面向無人駕駛感知系統的仿真驗證技術
Ansys 行業應用方案連載 | 面向無人駕駛感知系統的仿真驗證技術
無人駕駛技術在當今5G和人工智能的催生下越發蓬勃地發展，滿足完全面向L3+的自動駕駛能力是未來兩年國內外自動駕駛技術產品化的主要目標。對于L3+的自動駕駛系統需要在給定的運行區域內，除了完成車輛橫向和縱向的控制外，還需要實現目標事件的檢查和響應。所以對于L3+的自動駕駛系統，其感知和控制決策就變的尤為重要，這更加需要極大關注感知系統的能力，對傳感器的布置、性能、感知算法等都需要進行充分的設計驗證。
但是當前傳統的實車路試等測試手段已經難以在有限的時間內覆蓋自動駕駛汽車所有可能的運行場景，AI的應用又急劇擴大了對測試場景規模的要求，尤其是現實中偶有發生而又會對駕駛造成極大安全隱患的邊緣場景更加考驗自動駕駛系統的感知和決策控制。數字化的仿真正是目前解決自動駕駛測試技術場景覆蓋度這一難題的有效手段，通過快速便捷的場景和駕駛仿真技術，可以幫助用戶在短時間內實現大規模多場景的仿真測試驗證，從而讓仿真從真正意義上加速整體測試開發流程。
Ansys解決方案
Ansys為面向L3+的自動駕駛應用提供的基于物理的傳感器與駕駛仿真技術可以有效的構建一套高保真的自動駕駛仿真體系，包括面向功能安全和SOTIF的安全性分析平臺、傳感器部件設計與仿真工具、面向感知算法的魯棒性測試等，從而將仿真技術真正應用到自動駕駛汽車的測試驗證中。
展開 AI座艙“讀心術”：場景感知與主動服務的交互革命
通過融合多模態感知技術與人工智能，座艙系統能夠識別駕乘人員的情緒、疲勞狀態甚至行為意圖，從而提供精準的主動服務。
這種被俗稱為“讀心術”的交互能力，正在重新定義人車關系，將汽車從單純的交通工具轉變為真正的“第三生活空間”。
01 從響應到預判：AI座艙的交互變革
傳統汽車座艙遵循“指令-響應”的被動交互模式，而AI座艙的革命性在于其主動感知與預判能力。
在2025 CES展上，吉利銀河E8展示了這種“有溫度的科技”：坐進駕駛艙的瞬間，Flyme Auto系統搭載的端到端語音大模型就能捕捉駕駛者的語調變化——疲憊時自動調暗燈光播放舒緩音樂，興奮時切換運動模式并推薦適合的路線。
這種仿佛被“讀心”的體驗背后，是行業首個能解析情感語義的AI交互系統。
智能座艙的智能化水平已從簡單的功能堆砌，演進到以“感知能力、交互能力、服務能力和互聯能力”為核心的綜合體驗。
市場數據顯示，到2025年，中國智能座艙滲透率將超過75%，成為汽車產業發展的主賽道。
02 多模態融合：AI“讀心”的技術基石
AI座艙的“讀心”能力建立在多模態感知技術融合的基礎上。通過融合視覺、語音和車輛數據，系統能夠全面理解駕乘人員狀態和需求。
視覺感知：從人臉識別到微表情分析
視覺系統能識別疲勞駕駛的多種特征：眼球轉動減少、眨眼頻繁、瞇眼、打哈欠和動作遲緩等。結合車輛數據（如轉向幅度和頻率、剎車和油門力度），AI能更準確地判斷駕駛員狀態并做出提醒。
語音感知：從語義理解到情感識別
除了視覺感知，語音交互系統也進化到能識別說話者的情緒狀態。先進的語音系統可以將內容、語調、語速等因素綜合起來進行判斷，從而加強對情緒的識別。
數據融合：繪就用戶畫像
多模態數據融合后，系統能夠構建完整的用戶畫像。
展開 康謀方案 | BEV感知技術：多相機數據采集與高精度時間同步方案
隨著自動駕駛技術的快速發展，車輛準確感知周圍環境的能力變得至關重要。BEV（Bird's-Eye-View，鳥瞰圖）感知技術，以其獨特的視角和強大的數據處理能力，正成為自動駕駛領域的一大研究熱點。
一、BEV感知技術概述
BEV感知技術，是一種從鳥瞰圖視角（俯視圖）出發的環境感知方法。與傳統的正視圖相比，BEV視角具有尺度變化小、視角遮擋少的顯著優勢，有助于網絡對目標特征的一致性表達。基于這樣的優勢，可以更有效的對車輛周圍環境進行感知。
圖1：BEV 感知圖
因此，在自動駕駛感知任務中，BEV感知算法通常包括分類、檢測、分割、跟蹤、預測、計劃和控制等多個子任務，共同構建起一個完整的感知框架。
BEV感知算法的數據輸入主要有圖像和點云兩種形式。根據數據源不同，BEV算法主要分為BEV Camera（純視覺）、BEV LiDAR（基于激光雷達）和BEV Fusion（多模態融合）三類。其中，圖像數據具有紋理豐富、成本低的優勢，此外，基于圖像的任務、基礎模型相對成熟和完善，比較容易擴展到 BEV 感知算法中。
為了更好的訓練BEV Camera感知算法，往往需要先搭建一個高質量的數據集。而搭建一套BEV感知數據采集系統，通常包括以下幾個關鍵環節：
1. 硬件選型與集成：選合適的攝像頭和計算采集平臺，集成穩定系統。
2. 數據采集：在實際環境中采集圖像數據，覆蓋不同場景、光照和天氣。
3. 時間同步：確保不同傳感器數據時間精確同步，是后續算法訓練的必要前提。
4. 系統調試和部署：調試系統確保組件協同工作，部署到實際應用環境。
因此，在實際搭建過程中，常會遇到技術復雜性高、成本投入大、數據質量與時間同步實現難、系統穩定性與可靠性要求高等挑戰。
展開 