自動駕駛感知算法的案例
低延遲高精度 地平線頂尖自動駕駛算法實力解析｜Waymo自動駕駛算法挑戰賽
真正賦能主機廠打造自動駕駛能力。
主機廠通過和地平線合作可以得到幾個好處：一，快速建立輔助駕駛能力；二，主機廠逐漸掌握算法能力，在感知算法方面會更進一步；三，短期縮短主機廠的開發時間，長期建立算法能力。
因此，我們能夠看到對于解決方案企業如何推動自動駕駛行業進步，地平線的答案是：「為行業踐行掌握多元技術的對于自動駕駛領域公司的重要性，以掌握自動駕駛核心的底層技術來幫助車企智能化轉型」。
4. 總結
自從2020年舉辦第一屆以來，Waymo自動駕駛挑戰賽持續的為各大研究機構提供公開公平的對比測試平臺。今年的挑戰賽增加了對系統速度的要求，更加貼近實用性和落地性。在這個背景下，地平線團隊的算法連續兩年取得3D物體檢測任務的第一名，證明了其團隊在3D物體檢測這個賽道上世界領先的實力，以及強大的技術和工程能力。此外，地平線此次參賽的方案中融合了很多目前最前沿的物體檢測技術，以及很多精巧的構思和設計，個人認為非常值得相關領域的研究者進行進一步的思考，也會對自動駕駛感知算法的研究起到非常大的推動作用。自動駕駛技術的研究以及應用還有很長的路要走，還有很多關鍵問題亟待解決，期望未來會有更多的研究機構參與其中，推出更加精準和高效的感知算法，以推動自動駕駛技術給人們的出行帶來更多的安全和便捷。
展開 L4自動駕駛漏洞：感知算法可能無法避開人造3D惡意障礙物
有個關于L4級自動駕駛的戲說：看起來很像L5，但用戶手冊寫了一長串免責聲明，核心思想是這也不行，那也不行。
”
L4自動駕駛系統普遍采用多傳感器融合設計，即融合如激光雷達（LiDAR）和攝像頭（camera）等不同的感知源，從而實現準確并且魯棒的感知。
多傳感器融合算法有一項前提，所有感知源不會同時都被攻擊，或可以同時被攻擊。這個基本的安全設計假設一般都是成立的，因此多傳感器融合通常被認為是針對現有無人車感知攻擊（單感知源攻擊）的有效防御策略。
來自加州大學爾灣分校（UCIrvine）的研究者證明了同時攻擊自動駕駛多傳感器融合感知中所有感知源的可能性。他們發現，在現實世界識別過程中，這種多傳感器融合的障礙物感知存在漏洞，會無法成功檢測研究者設置的障礙物并直接撞上去的情況。
具體而言，3D障礙物的不同形狀可以同時導致LiDAR點云中的點位置變化和camera圖像中的像素值變化，因此攻擊者可以利用形狀操作，同時向camera和LiDAR引入輸入擾動。
生活中路面可能出現的形狀奇怪或破損的物體，可以研究者的物理世界攻擊向量模擬：可操縱形狀的對抗3D物體。
為了評估這一漏洞的嚴重性，研究者設計了MSF-ADV攻擊，它可以在給定的基于多傳感器融合的無人車感知算法中自動生成上述的惡意的3D障礙，研究者的這個設計可提升攻擊的有效性、魯棒性、隱蔽性和現實生活中的可實現性。
展開 研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。這些定義可能有些難懂，但是與車輛上不同的功能結合起來就容易理解了。
展開 研究自動駕駛技術的算法需要哪些知識？
來源 | 巫婆塔里的工程師@知乎
自動駕駛系統包括環境感知和定位，行為預測和規劃控制。作為自動駕駛感知算法工程師，我這里就只說說環境感知方面需要的知識吧。
下面是我在自動駕駛感知專欄中的一篇概述文章，專欄里也包含了各個子領域的介紹性文章。
1 前言
本專欄主要關注自動駕駛中的環境感知任務，內容包括感知技術的起源，現狀以及最新的發展趨勢。感知任務大多涉及算法設計，因此專欄的介紹也以算法為主線，特別是深度學習的算法。此外也會涉及一些數據采集，系統測試，算法部署以及量產感知系統的分析。
自動駕駛中的環境感知包含了自動駕駛和環境感知兩個概念。首先，什么是自動駕駛呢？下面是維基百科上對自動駕駛汽車的定義。
自動駕駛汽車，又稱無人駕駛車、電腦駕駛車、無人車、自駕車，為一種需要駕駛員輔助或者完全不需操控的車輛。作為自動化載具，自動駕駛汽車可以不需要人類操作即能感測其環境及導航。
上述定義里有幾個關鍵詞。首先是汽車，我們這里所說的自動駕駛技術涉及的是汽車，而不是飛機火車之類的交通工具。其次是感知環境和導航，也就是說自動駕駛汽車可以自主的采集和理解周邊環境信息，并根據設定的目的地進行決策和行進。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動駕駛系統的分級，是一個非常重要的概念，下面稍微展開說一下。
自動駕駛技術不是從0到1的質變，而是一個漸變迭代的過程。關于自動駕駛系統的分級，目前最常用的標準是由SAE（美國汽車工程師學會）制定的。不同機構制定的標準會略有不同，但是基本的概念是一致的。下表對L0（人工駕駛）到L5（完全自動駕駛）六個級別進行了總結。
展開 
自動駕駛行業觀察 | 自動駕駛多模態融合感知詳解（研究現狀及挑戰）
文章來源：自動駕駛干貨鋪
高級別智能駕駛業務系列：自動駕駛系統
近年來，伴隨著智慧化港口的大潮流，經緯恒潤L4高級別智能駕駛業務產品也陸續扎根港口自動駕駛多個項目中，幫助港口實現無人水平運輸自動化，達到降本增效的效果，助力客戶實現智慧化綠色港口。
在整個港口水平運輸場景中，經緯恒潤提供了端到端的車、路、網、云、圖全棧式自研解決方案，包含自動駕駛系統、路側車路協同、基于5G網絡的遠程遙控駕駛、車隊調度管理平臺、數字孿生、仿真系統、高精地圖等專業模塊，組成了一套完整的智慧港口解決方案。本篇專門介紹其中的自動駕駛系統。
▎系統介紹
經緯恒潤自動駕駛系統作為L4高級別自動駕駛的核心組成部分，結合經緯恒潤自主研發的HAV平板車、車隊調度管理平臺、高性能車規級計算平臺、感知系統、遠程駕駛系統、智能交通系統、智能場端系統、高精度地圖等，部署經緯恒潤自主設計生產的車規級量產域控制器和計算單元，保障自動駕駛水平運輸設備在不同的環境、工況場景下，高效、穩定、安全地運行。
▎高效可靠，已在多個港口園區常態化運營的無人駕駛解決方案
經緯恒潤自2015年開始布局園區類無人駕駛領域，經過不斷錘煉相關技術，于2021年在日照港正式將無人駕駛技術投入商業運營，實現了真正的無人駕駛。該技術方案基于經緯恒潤多年以來在自動駕駛算法商業化落地積累的多項技術突破，不斷挑戰升級，確保系統足夠的安全和高效可靠。
全局導航算法
經緯恒潤的全局導航算法，結合了港口園區運營環境和實際生產需求，根據車隊調度管理平臺基于系統均衡理論下發的路線信息、任務信息，并參考高精地圖和場地內實時識別的障礙物信息規劃出滿足車輛動力學要求、避開障礙物的車端導航全局路徑。
展開 大模型技術在自動駕駛中的應用
英偉達（Nvidia）：英偉達開發并銷售了一種名為 NVIDIA DRIVE 的平臺，它包括處理器和軟件工具，可用于構建自動駕駛汽車所需的各種計算機視覺、計算機圖形學和媒體處理應用程序，包括大規模深度學習模型。
Mobileye 也是自動駕駛技術的龍頭企業之一，其使用了基于深度學習的算法、傳感器與定位技術等，支持各種不同類型的自動駕駛場景。
通用汽車（General Motors）：通用汽車正在與 Cruise 合作，通過深度學習技術來提高自動駕駛汽車的性能。
奔馳（Mercedes-Benz）：奔馳推出名為 Mercedes-Benz Intelligent Drive 的方案，該方案基于神經網絡技術，可為車輛提供先進的自動駕駛功能。
斯巴魯（Subaru）：斯巴魯正在開發名為 EyeSight 的自動駕駛技術平臺，其中包括大量的深度學習算法，可以幫助車輛實現更準確的感知和決策。
四、大模型如何應用于自動駕駛
算法是決定自動駕駛車輛感知能力的核心要素。當前主流的自動駕駛模型框架分為感知、規劃決策和執行三部分。感知模塊是自動駕駛系統的眼睛，核心任務包括對采集圖像進行檢測、分割等，是后續決策層的基礎，決定了整個自動駕駛模型的上限，在自動駕駛系統中至關重要。
展開 自動駕駛感知數據
現在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設我有一個傳感器配置的車輛，我現在去采集了很多感知場景的數據，
這些數據這樣能變現呢？是否有公司需要數據來訓練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數據他可以用來訓練他的算法嗎？
自動駕駛感知數據閉環簡析
在自動駕駛技術中，軟件系統是最具有技術壁壘的領域之一。近年來，國內外成立了不少自動駕駛創業公司，花費了大量人力物力投入到自動駕駛軟件系統的開發中，每一行代碼、每一個專利，都是它們未來競爭的底氣和資本?？梢哉f，自動駕駛軟件系統是上述公司最核心的資產之一。
百度是國內最早投入自動駕駛技術研發的公司之一。Apollo是百度發布的向汽車行業及自動駕駛領域合作伙伴提供的軟件平臺，不僅在全球各種權威自動駕駛榜單中成績斐然，也在商業化推進上有著驚人的速度。下圖是Apollo開源項目的系統架構。
圖1. Apollo 6.0 Architecture，
來源：Apollo項目GitHub
地址：https://github.com/ApolloAuto/apollo
簡單解析一下Apollo框架。
其中，Open Software Platform指的是Apollo開源軟件平臺，它是圖中位于右側的各個子模塊的總稱。RTOS（real-time operating system）是實時操作系統，實時性是它的最大特征，它為上層功能模塊的高效執行提供底層環境。
Map Engine是地圖引擎，在軟件中負責獲取各類地圖數據，并提供相應的地圖數據功能接口。Localization和Perception分別是定位和感知模塊，是處理汽車周圍環境信息的功能模塊，負責將各類傳感器收集到的數據進行加工和處理，用結構化的結果來描述汽車周圍的場景。Planning是規劃模塊，負責對結構化的場景信息進行下一步的處理，通過計算得到一條安全可通行的路徑。
展開 自動駕駛前沿綜述：基于深度強化學習的自動駕駛算法
來源 | Paperweekly
知圈 | 進“滑板底盤群”請加微yanzhi-6,備注底盤
這是 21 年的一篇綜述文章，可以算得上是最前沿的自動駕駛技術綜述。這幾年隨著深度表征學習的發展，強化學習領域也得到了加強。本文會對目前最先進的自動駕駛 DRL 算法進行匯總和分類。
簡介
自動駕駛系統（AD system），由多個級別的感知和控制任務組成，目前在感知方面，已經可以通過深度學習架構來實現。但在控制層面，經典的監督學習已經不再使用，因為代理需要在每一個瞬間做出動作決策，這些決策可能會改變場景條件。
自動駕駛各級別的任務
AD system 的組成
2.1 感知模塊（Preception Module）
感知模塊的目標是創建環境狀態的中間級別表示（例如所有障礙物和代理的鳥瞰圖），稍后將由最終產生駕駛策略的決策系統使用。該狀態將包括車道位置、可行駛區域、代理（例如汽車和行人）的位置、交通信號燈的狀態等。感知中的不確定性傳播到信息鏈的其余部分。強大的傳感對于安全至關重要，因此使用冗余源可以提高檢測的信心。這是通過語義分割、運動估計、深度估計、污點檢測等幾種感知任務的組合來實現的，這些任務可以有效地統一成一個多任務模型。
多視角相機融合的鳥瞰圖
2.2 場景理解（Scene Understanding）
該模塊的作用是將感知模塊獲得的信息映射到高級動作或決策層。該模塊旨在提供對場景的更高層次的理解，通過融合異構傳感器源（如激光雷達、相機、雷達、超聲波），抽象和概括場景信息，為決策制定提供簡化的信息。
展開 自動駕駛的視覺感知包括哪些內容？
來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
目錄
傳感器組件
相機標定
數據標注
功能劃分
共性問題
模塊架構
視覺感知系統主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態目標檢測（車輛、行人和非機動車）
靜態物體識別（交通標志和紅綠燈）
可行駛區域的分割（道路區域和車道線）
這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統的檢測速度，減少計算參數，而且可以通過增加主干網絡的層數的方式提高檢測和分割精度。
展開 
自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 自動駕駛汽車感知測試
來源 |
智駕社
自動駕駛汽車感知系統關鍵技術綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯網等技術發展融合的產物，其原理為自動駕駛系統利用感知系統，獲取車輛自身以及外界環境信息，經過計算系統分析信息、做出決策，控制執行系統實現車輛加速、減速或轉向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據輔助控制系統的自動化功能，將自動駕駛技術分為0~4級，如表1所示。從表1可了解到，自動駕駛的發展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統需不斷提高獲取周邊環境信息的全面性、準確性和高效性，它是自動駕駛的基礎，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統常用方案，及其各自技術方法、特點和應用情況。
1 系統框架
自動駕駛汽車首先應有一套完整的感知系統，代替駕駛人的感知，提供周圍環境信息；其次應有一套集智能算法、高性能硬件于一體的控制系統，代替駕駛人的大腦，制定駕駛指令、規劃行駛路徑；最后還需一套完善縝密的執行系統，可以代替駕駛員的手腳動作，執行駕駛指令、控制車輛狀態。其中，感知系統應包括環境感知、內部感知、駕駛人感知。其中內部感知主要是通過CAN總線采集車內各電子控制單元信息，以及裝載在車上的各類傳感器實時產生的數據信息，來獲取車輛狀態，包括車體（車內外溫度、空氣流量、胎壓），動力（油壓、轉速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態。本文介紹的感知系統針對環境感知、自動駕駛感知系統的關鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導航定位、天氣、停車場等信息。
展開 高階自動駕駛系統的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構向集中式域控制器架構演進已經成為下一代自動駕駛系統不可逆轉的趨勢。對于下一代集中式域控架構下到的自動駕駛系統來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內，系統功能集成度大大提高，這樣對于功能的感知與執行的硬件要求降低
。但是，
域控制器的出現并不代表底層硬件 ECU 的大規模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執行層面功能保留），大部分傳感器也可以直接傳輸數據給域控制器，或把數據初步處理后給域控制器，很多復雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執行域控制器的命令，也就是說，外圍零件只關注本身基本功能，而中央域控制器關注系統級功能實現。此外，數據交互的接口標準化，會讓這些零部件變成標準零件，從而降低這部分零部件開發/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環境信息的軟件算法模塊
，比如ISP、encode、神經網絡、深度學習單元等AI算法。然而，在下一代高階自動駕駛系統中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進行集中式處理。那么，問題來了，對于這類型的自動駕駛系統架構模式，攝像頭模組本身的需求將會發生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 