BEV感知
關注創建者：匿名 創建時間：2026-01-04
BEV感知的實例教程
隨著自動駕駛技術的快速發展，車輛準確感知周圍環境的能力變得至關重要。BEV（Bird's-Eye-View，鳥瞰圖）感知技術，以其獨特的視角和強大的數據處理能力，正成為自動駕駛領域的一大研究熱點。
一、BEV感知技術概述
BEV感知技術，是一種從鳥瞰圖視角（俯視圖）出發的環境感知方法。與傳統的正視圖相比，BEV視角具有尺度變化小、視角遮擋少的顯著優勢，有助于網絡對目標特征的一致性表達。基于這樣的優勢，可以更有效的對車輛周圍環境進行感知。
圖1：BEV 感知圖
因此，在自動駕駛感知任務中，BEV感知算法通常包括分類、檢測、分割、跟蹤、預測、計劃和控制等多個子任務，共同構建起一個完整的感知框架。
BEV感知算法的數據輸入主要有圖像和點云兩種形式。根據數據源不同，BEV算法主要分為BEV Camera（純視覺）、BEV LiDAR（基于激光雷達）和BEV Fusion（多模態融合）三類。其中，圖像數據具有紋理豐富、成本低的優勢，此外，基于圖像的任務、基礎模型相對成熟和完善，比較容易擴展到 BEV 感知算法中。
為了更好的訓練BEV Camera感知算法，往往需要先搭建一個高質量的數據集。而搭建一套BEV感知數據采集系統，通常包括以下幾個關鍵環節：
1. 硬件選型與集成：選合適的攝像頭和計算采集平臺，集成穩定系統。
2. 數據采集：在實際環境中采集圖像數據，覆蓋不同場景、光照和天氣。
3. 時間同步：確保不同傳感器數據時間精確同步，是后續算法訓練的必要前提。
4. 系統調試和部署：調試系統確保組件協同工作，部署到實際應用環境。
因此，在實際搭建過程中，常會遇到技術復雜性高、成本投入大、數據質量與時間同步實現難、系統穩定性與可靠性要求高等挑戰。
展開 <h2><strong>1）引言</strong></h2><p>在<strong>高校自動駕駛實驗室</strong>里，團隊可能常以 <strong>BEV（Bird’s-Eye View）感知架構</strong>為研究主線。旨在通過相機陣列和激光雷達的數據，在空間上重建統一的車周環境，為下游檢測、分割提供高精度“語義地圖”。然而，一旦相機間的時間同步存在<strong>幾十毫秒及以上的誤差</strong>，BEV 投影的理想模型便可能<strong>失效</strong>，引發一系列典型的問題：</p><p>1、多相機拼接的鳥瞰圖在特征層面出現<strong>撕裂</strong>，導致Transformer或者卷積融合網絡在訓練階段<strong>難以收斂</strong>，損失曲線持續振蕩。</p><p>2、采集到的數據因固有延遲而與真實世界的<strong>時序錯位</strong>，當反投影到激光雷達或 IMU 坐標系時，產生明顯<strong>重影現象</strong>，外參標定<strong>不可重復</strong>。</p><p>3、時延隨實驗次序號<strong>隨機漂移</strong>，致使在離線評估中構建的數據時序關系，無法反映實車運行的真實時序狀態，最終導致科研結論<strong>缺乏可重復性</strong>。</p><p>這些消耗巨量算力與人力的痛點，其根源往往不在于算法本身，而在于數據基石存在缺陷 —— 即傳感器間<strong>缺乏統一可信的時間基準</strong>，導致時序準確性無法保障。</p><p>由此可知，對高校自動駕駛實驗室來說，<strong>穩定的時序精度</strong>是BEV感知科研的關鍵，團隊亟需適配多源異構傳感器的高精度時間同步方案，解決數據撕裂、實驗不可復現等痛點。
展開 2、多源傳感器同步與可視化
工具鏈支持復雜傳感器配置的數據生成與驗證：
傳感器配置：目前支持6路相機、5個Radar、1個LiDAR的多源融合感知。
可視化驗證：內置腳本支持LiDAR點云、Radar PCD文件以及帶3D GT框的圖像/BEV視角可視化，確保數據“所見即所得”。
二、 數據集概覽：豐富場景與高保真環境
基于上述工具鏈，我們構建了SimData數據集，旨在覆蓋高速、城區、停車場等典型及復雜道路環境。
規模統計：包含15個獨立地圖，共計45個場景。
數據體量：單個傳感器輸出約18,000張圖像/幀數據，總樣本量充足。
類別擴展：在nuScenes原有的Car, Pedestrian, Truck, Bus等常見類別基礎上，新增了Van（面包車）類別，共計10類目標，彌補了部分長尾數據的缺失。
10個類別：
{ "Van", "Trailer","Pedestrian", "Car", "Truck", "Bus", "Motorcycle", "Bicycle","TrafficCone","Barricade" }
虛擬數據形象部分示例：
環境多樣性：
Highway：高速公路匝道、施工區。
Urban：擁堵城區、環島、十字路口。
Parking：室內外停車場環境。
地圖示例：
三、 實操評測：SimData 的高保真性
為了驗證SimData在感知算法中的有效性，我們選用BEV感知領域的經典模型 BEVFormer (Tiny版)，進行了多維度的對比實驗與分析。
展開 從這些公開信息來看，也觀察到了一些行業趨勢，例如在線建圖、圖像BEV感知、點圖融合以及車道線矢量拓撲建模等。本文將對相關的學術工作和自動駕駛公司的技術方案進行解讀，以及談談個人的一些思考。
這兩球的顏色是一樣的？不，我不信！
為文本到圖像的 diffusion 模型添加條件控制
本文提出一種神經網絡結構 ControlNet，用來控制預訓練的大型擴散模型，并使其支持額外的輸入條件。此外，訓練 ControlNet 與微調擴散模型一樣快，并且模型可以在個人設備上進行訓練。如果有強大的計算集群，該模型可以擴展到大量數據。此外，Stable diffusion 等大型擴散模型可以用 ControlNet 增強，以實現邊緣圖、分割圖、關鍵點等條件輸入。
全球數字科技十大趨勢、科研實力對比與人才分布
阿里研究院、智譜AI聯合發布了《2023全球數字科技技術發展研究報告》。報告基于AMiner科技情報平臺的數據，利用文獻計量方法，為數字科技研究前沿“畫像”，揭示創新活躍程度，在系統、客觀的分析方法基礎上，總結2023全球數字科技十大趨勢。
只有這個爆款社交應用，中國無法復制，為什么？
Discord可能是非常少有的，在美國已經超過百億美金體量而在中國沒有模仿者跑通的 2C 互聯網平臺級應用。背后的原因，涉及到天時地利人和等多種因素，包括互聯網趨勢的變化、國內外游戲行業生態差異、社交軟件市場差異等等。
音視頻通訊QoS技術及其演進
本文從更宏觀、更寬泛的角度介紹了QoS的概念和分類，從音視頻通訊QoS領域的常用技術到架構的演進過程做了簡單匯總。隨著音視頻通訊新場景的不斷涌現，更實時，更高清變得越來越重要，相關技術也會往這個方向傾斜，同時基于大數據分析的QoS相關技術應用將會逐漸滲透。
展開 ▲視頻模型訓練的超算中心
總 結
隨著近兩年特斯拉AI Day的內容發布，我們慢慢看清了特斯拉在自動（輔助）駕駛方向上的技術版圖，同時我們也看到特斯拉自己也在不停地自我迭代，例如從2D感知，BEV感知，到Occupancy Network。自動駕駛是一個萬里長征，是什么在支撐特斯拉技術的演進呢？我想是三點：視覺算法帶來的全場景理解能力，強大算力支持的模型迭代速度，海量數據帶來的泛化性。這不就是深度學習時代的三大支柱嗎？
目前，趙行博士的課題組也在做和特斯拉類似的事情，在過去兩年做了一系列視覺為主自動駕駛的工作，簡稱VCAD，Vision-Centric Autonomous Driving（https://vcad-ai.github.io/）。
視覺為中心的自動駕駛VCAD (Vision-Centric Autonomous Driving)是其課題組提出的一個自動駕駛感知技術范式，同時是一個開源開放的研究課題。這個技術范式的特點是，主要利用車載的環視相機來實現自動駕駛對環境的感知和認知，選擇性地融合其他傳感器作為安全性輔助。
相比過分依賴激光雷達和高精度地圖的自動駕駛感知技術，以視覺為中心的技術有更好的泛化能力，各種規格和價位的車都可以使用。現階段，趙行博士的課題組正在招生。
參考文獻
[1] Wang, Y., Guizilini, V.C., Zhang, T., Wang, Y., Zhao, H. and Solomon, J., 2022, January. Detr3d: 3d object detection from multi-view images via 3d-to-2d queries. In Conference on Robot Learning (pp. 180-191). PMLR.
展開 
BEV感知的最新內容
地圖示例：
三、 實操評測：SimData 的高保真性
為了驗證SimData在感知算法中的有效性，我們選用BEV感知領域的經典模型 BEVFormer (Tiny版)，進行了多維度的對比實驗與分析。
</p><p>由此可知，對高校自動駕駛實驗室來說，<strong>穩定的時序精度</strong>是BEV感知科研的關鍵，團隊亟需適配多源異構傳感器的高精度時間同步方案，解決數據撕裂、實驗不可復現等痛點。
圖1：BEV 感知圖
因此，在自動駕駛感知任務中，BEV感知算法通常包括分類、檢測、分割、跟蹤、預測、計劃和控制等多個子任務，共同構建起一個完整的感知框架。
BEV感知算法的數據輸入主要有圖像和點云兩種形式。根據數據源不同，BEV算法主要分為BEV Camera（純視覺）、BEV LiDAR（基于激光雷達）和BEV Fusion（多模態融合）三類。
自動駕駛感知算法向 BEV+transformer 架構升級，助力城市領航輔助駕駛脫高精度地圖。特斯拉 BEV 感知模型為特征級融合，極大的提高了模型在極端天氣工況下的應對能力，BEV 鳥瞰圖相當于自動駕駛車輛實施生成“活地圖”，因而可以實現去高精度地圖化。
然后將這些特征輸入到BEV感知Transformer模型中，用于從BEV的角度檢測障礙物和靜態地面標記。將BEV感知結果與高精度地圖相結合，進一步編碼為網格格式，并輸入到類似NLP的Transformer模型中，以完成預測和規劃任務。
除了基本模型的激活函數、LN、Softmax和大矩陣乘法加速之外，自動駕駛任務中的Transformer模型還有一個特殊的可變形注意力算子。
從這些公開信息來看，也觀察到了一些行業趨勢，例如在線建圖、圖像BEV感知、點圖融合以及車道線矢量拓撲建模等。本文將對相關的學術工作和自動駕駛公司的技術方案進行解讀，以及談談個人的一些思考。
這兩球的顏色是一樣的？不，我不信！
為文本到圖像的 diffusion 模型添加條件控制
本文提出一種神經網絡結構 ControlNet，用來控制預訓練的大型擴散模型，并使其支持額外的輸入條件。
▲視頻模型訓練的超算中心
總 結
隨著近兩年特斯拉AI Day的內容發布，我們慢慢看清了特斯拉在自動（輔助）駕駛方向上的技術版圖，同時我們也看到特斯拉自己也在不停地自我迭代，例如從2D感知，BEV感知，到Occupancy Network。自動駕駛是一個萬里長征，是什么在支撐特斯拉技術的演進呢？
總結
自動駕駛系統感知算法應用中，基于BEV的圖像感知算法是應用得十分廣泛的。特別是基于傳感器融合的BEV算法可以很好的解決整個感知定位過程中的環境整體探測能力，更能生成如偽高精地圖用于進行形式態勢評估。特別針對自動駕駛之前的極端場景（如鬼影、大曲率彎道、不
確定的3D障礙物等）的解決可以起到很好的規避作用。
