自動駕駛視覺定位
關注創建者：匿名 創建時間：2021-09-18
自動駕駛視覺定位的視頻教程
CES 2020自動駕駛演講
MobileyeCEO Amnon Shashua教授 在CES 2020上關于自動駕駛的主題演講完整版 視頻內容 1. 2019年業務表現、訂單量披露； 2. Mobileye五大業務支柱詳解，包括：ADAS、REM地圖（ADAS和自動駕駛）、智慧城市數據、移動即服務（MaaS)、全棧自動駕駛系統（乘用車）。
免費 57分鐘 86播放
查看
自動駕駛視覺定位的實例教程
Localization Accuracy
對于自主駕駛任務，我們重點關注X、Y方向和偏航（航向）角度的定位精度。與激光雷達比較的詳細結果如下。可以看出，所提出的基于視覺的定位比基于激光雷達的解決方案更好。
Conclusion & Future work
在本文中，我們提出了一個新穎的語義定位系統，它充分利用了傳感器豐富的車輛（如機器人出租車），使低成本的生產汽車受益。整個框架由車上建圖、云上更新和用戶端定位程序組成。我們強調，這是一個可靠而實用的自主駕駛定位解決方案。
建議的系統利用了路面上的標記。事實上，三維空間中更多的交通元素可用于定位，如交通燈、交通標志和電線桿。在未來，我們將把更多的三維語義特征擴展到地圖中。
展開 基于現有成像設備，機器視覺之算法視覺實現完全自動駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點陣，是失真不可靠的數據，算法再完美，數據不可靠，結果自然不可靠。空間視覺技術重塑了成像設備結構和控制方法，使其獲得完整 一 一對標的數據鏈，生成3維坐標顏色點陣，連續坐標點陣即景物輪廓，空間視覺技術重新定義的相機，使其完成從生成相片到生成場景的進化，場景實現數字孿生到平行空間飛越，實現方法從計算模擬變成實時映射。
來源 | 汽車ECU開發
如今，自動駕駛的立體視覺變得越來越流行。計算機視覺領域在過去十年中發展迅猛，尤其是基于深度學習的障礙物檢測和計算機視覺領域。
YOLO 或 RetinaNet 等障礙物檢測算法提供 2D 邊界框，使用邊界框給出圖像中障礙物的位置。今天，大多數物體檢測算法都是基于單目RGB相機，無法返回每個障礙物的距離。
為了返回每個障礙物的距離，工程師們將相機與激光雷達(光探測和測距)傳感器融合，利用激光返回深度信息和傳感器融合技術融合計算機視覺和激光雷達的輸出。
這種方法的問題是使用了昂貴的激光雷達。工程師巧妙地利用對齊兩個攝像頭并使用幾何形狀來定義每個障礙物的距離：我們稱之為偽激光雷達。
圖1 單眼與立體視覺
偽激光雷達利用幾何圖形來構建深度地圖，并將其與目標檢測相結合，以獲得三維距離。
實現深度估計的五個步驟：
通過兩個攝像頭，我們可以獲得物體的距離。這是三角測量的原理，也是立體視覺背后的核心幾何。下面是它的工作原理:
1、立體校準-檢索相機的關鍵參數；
2、對極幾何-定義我們設置的三維幾何；
3、視差圖- 計算視差圖；
4、深度貼圖- 計算深度貼圖；
5、障礙物距離估計- 在 3D 中查找對象，并與深度圖匹配。
在本文中，我們將學習如何執行這 5 個步驟來構建 3D 對象檢測算法，目標是對于每個對象，我們可以估計 X、Y、Z 位置。
01.立體校準—內部和外部校準
當你在網上看任何圖片時，很可能相機已經被校準過了。每個相機都需要校準。
展開 來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 還有歐盟自主泊車項目V-Charge也采用了前向雙目視覺系統，另外自動駕駛研發系統Berta Benz也是，而且和雷達系統后融合，其中雙目匹配的障礙物檢測算法Stixel很出名。以前Bosch和Conti這些Tier-1公司也研制過雙目視覺解決方案，但沒有在市場上產生影響力，據說被砍掉了。
談到雙目系統的難點，除了立體匹配，還有標定。標定后的系統會出現“漂移”的，所以在線標定是必須具有的。單目也是一樣，因為輪胎變形和車體顛簸都會影響攝像頭外參數變化，必須在線做標定修正一些參數，比如仰角（pitch angle）和偏角（yaw angle）。
雙目在線標定就更復雜些，因為雙目匹配盡量簡化成1-D搜索，所以需要通過stereo rectification將兩個鏡頭光軸方向平行并和基線垂直。所以針對獲得的gain相比，增加的復雜度和成本，如果不劃算商家就會放棄。
最近重提雙目視覺，是因為硅谷芯片公司安霸（Ambarella）在2014年收購意大利帕爾馬大學的Vis Lab，研制了雙目的ADAS和自動駕駛芯片，去年CES之后就開始進軍車企和Tier-1。而且，安霸目前正在繼續研究提升該系統的性能。
下圖就是它在車頂安裝6對立體視覺系統的示意圖，其中它們的基線寬度可以不一樣的，相應地有效檢測距離也就不同。筆者曾坐過它的自動駕駛車，遠處可以看到200米，近處20-30米。它確實可以做在線標定，隨時調整一些雙目視覺的參數。
先說立體匹配。
匹配方法分兩種，全局法和局部法，實用的基本是局部法，因為全局法太慢。深度學習可以取代全局法，但目前還不是很成熟。
最著名的局部法就是SGM（semi-global matching），很多產品在用的方法都是基于此的改進，不少視覺芯片都采用這種算法。
展開 
自動駕駛視覺定位的相關專題、標簽、搜索
自動駕駛視覺定位的最新內容
Ansys自動駕駛汽車仿真解決方案基于從傳感器到系統級的完整工具鏈，通過軟件在環（SiL）與硬件在環（HiL）閉環測試，結合高保真合成數據與開放架構生態，大幅提升開發效率并降低測試成本。在近期發布的"Ansys 應用類系列網絡研討會全面上線"中，涵蓋4場AVxcelerate專題內容，系統解讀自動駕駛仿真的核心能力與最新進展。
本次系列網絡研討會將聚焦Ansys 2026 R1 AVxcelerate
2026年，自動駕駛仿真賽道將持續升溫。
回顧2025年，兩大仿真新技術快速走進公眾視野，分別是世界模型（World Model）與3DGS（3D Gaussian Splatting，3D高斯潑濺）。
關于世界模型，此前也寫了挺多科普文章，甚至發布了一些視頻效果，感興趣的小伙伴可以去搜了看看，本文就不展開了。
而關于3DGS，我則一直覺得很神秘，因此特地做了一些探索，甚至申請到了商用軟件來試用
本文原刊登于Ansys.com：《Ansys AVxcelerate Sensors Software Leverages NI-RDMA for Hardware-in-the-loop (HiL) Testing》
作者：Lionel Bennes | Ansys高級產品經理
編輯整理：劉宏鯤 | Ansys高級應用工程師
原始設備制造商（OEM）和供應商正在潛心研究、不懈努力地推進自動駕駛技術
本項目客戶為國內一所智能駕駛為核心研究方向的高校科研團隊。團隊長期聚焦于自動駕駛感知、定位與系統級驗證研究，同時承擔研究生教學與科研平臺建設任務。 在科研與教學并行推進的背景下，客戶希望構建一套可持續擴展、可復用的自動駕駛數據采集與數字孿生測試平臺，支撐從真實道路采集到高保真仿真驗證的完整研究鏈路。
在此背景下，康謀為其提供了數采車系統、無人駕駛車輛集成方案以及數字孿生仿真服務，幫助客戶打通“
當自動駕駛從輔助走向高階，具身智能從實驗室邁向量產賽道，兩大前沿領域的碰撞正重構汽車產業格局。數據顯示，2026年智能駕駛商業化進程將加速推進，L2級輔助駕駛滲透率有望超70%，具身智能更是被業內預判為萬億級黃金賽道。在這一產業變革的關鍵節點，AUTO TECH China 2026廣州國際自動駕駛與具身智能技術展覽會即將于11月27日-30日在廣州廣交會展館D區盛大啟幕，為全球行業同仁搭建起技術交流
自動駕駛隱私保護出路在哪里5個月前
自動駕駛技術正加速重塑未來交通格局，成為全球科技與產業競爭的核心賽道。然而，技術迭代的背后，數據安全與隱私保護的矛盾日益凸顯。自動駕駛系統的研發與測試高度依賴海量真實場景視覺數據，這些數據在捕捉復雜交通環境的同時，不可避免地涉及過往行人和車輛的個人身份信息。
2022 年以來，相關隱私爭議通過訴訟等形式持續發酵，引發全球對自動駕駛行業數據合規性的廣泛討論。如何在不阻礙技術創新的前提下，筑牢隱私保護防線
一、引言
在自動駕駛技術飛速發展的當下，高精度、高保真的仿真場景構建成為關鍵。3D Gaussian Splatting（3DGS）憑借高效渲染與逼真場景還原能力，逐漸成為三維重建與仿真領域的焦點。然而，實際應用中，如何將多源異構數據高效轉化為可用的 3DGS 場景，如何保障場景與真實環境的一致性，成為了行業難題。
針對3DGS 落地自動駕駛仿真的核心痛點， aiSim 打造從原始數據標準化到高保真仿真驗證的全流程方案
當下正是一個由數據驅動的偉大變革時代。從ADAS到AD，每一次技術的躍遷都離不開海量道路數據的采集、標注與分析。以圖像數據為例，它們是訓練和優化感知算法、提升系統安全性的寶貴資源。
然而，當計劃將這些數據送往異國研發團隊時，數據合規這個難題便擺在了面前。
一、全球化研發的數據合規挑戰
對于任何一個有全球拓展計劃的車企或技術供應商而言，跨國研發與測試通常是不可避免的，例如驗證算法在不同交通環境
01 引言
在端到端自動駕駛的研發競賽中，算法的迭代速度遠超物理世界的測試能力。單純依賴路測不僅成本高昂、周期漫長，更無法窮盡決定系統安全性的關鍵邊緣場景（Corner Cases）。
因此，硬件在環（HIL）仿真測試成為唯一的出路。然而，將仿真數據閉環注入域控制器流程中存在諸多技術難度，特別是高像素相機原始數據，如何無損、無延遲地將數據灌入對時序和信號要求極為苛刻的域控制器中成為了當前調試
近年來，伴隨自動駕駛技術的快速發展，行業對于仿真測試平臺的精度、覆蓋率和可擴展性提出了更高要求。尤其在數據閉環迭代、長尾場景驗證及安全冗余驗證等關鍵環節中，高保真、高復雜度的場景生成能力正在成為測試體系的核心支撐。
傳統場景生成方式面臨效率低、人工成本高、行為多樣性不足等問題，難以滿足當前智能駕駛系統對大規模、多模態、真實物理驅動場景的需求。為應對這一挑戰，基于生成式AI的4D場景生成技術迅速興起
