BEV圖像
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2021-10-11
BEV圖像的實(shí)例教程
這需要通過多個(gè)車載攝像機(jī)圖像、激光點(diǎn)云、毫米波雷達(dá)點(diǎn)云協(xié)助一定的算法模型實(shí)現(xiàn)。原理是對(duì)于車身周圍的整個(gè)環(huán)境的探測(cè)描述，以獲得校正后的360度鳥瞰圖BEV（Birds Eye Views）圖像。校正的BEV圖像可被分割出語(yǔ)義類別，以語(yǔ)義分割圖像作為輸入，可以減少模擬數(shù)據(jù)與現(xiàn)實(shí)世界數(shù)據(jù)之間的實(shí)際差距，并且可以成功應(yīng)用于實(shí)際工況下的探測(cè)過程中?？傮w說來(lái)，在鳥瞰圖中可以很好的估計(jì)遮擋情況下的語(yǔ)義場(chǎng)景，這一過程可以對(duì)3D幾何形狀和可見場(chǎng)景語(yǔ)義有更加準(zhǔn)確的了解，同時(shí)對(duì)遮擋區(qū)域進(jìn)行更加準(zhǔn)確的預(yù)測(cè)，生成質(zhì)量更高的道路layout。同時(shí)，BEV圖像的建立可以對(duì)具有低照度和大量的車輛生成車輛和道路layout的清晰估計(jì)。
BEV的遮擋區(qū)域預(yù)測(cè)
由于BEV投影保留了物體的大小和距離，為學(xué)習(xí)提供了強(qiáng)大的先決條件。同時(shí)，神經(jīng)網(wǎng)絡(luò)方法生成的BEV圖像并不依賴手動(dòng)標(biāo)記數(shù)據(jù)，而是在模擬合成數(shù)據(jù)集上進(jìn)行訓(xùn)練，并泛化到現(xiàn)實(shí)世界數(shù)據(jù)，通過給出道路場(chǎng)景的單個(gè)圖像，神經(jīng)網(wǎng)絡(luò)架構(gòu)實(shí)時(shí)（30 fps）在鳥瞰視圖中推理非模態(tài)場(chǎng)景。使那些在圖像不可見的靜態(tài)場(chǎng)景（道路，人行道）以及交通參與者幻覺般恢復(fù)。這種擬合預(yù)測(cè)的方法可以很好地應(yīng)用在對(duì)環(huán)境動(dòng)態(tài)過程的預(yù)測(cè)規(guī)劃中，實(shí)現(xiàn)對(duì)遮擋區(qū)域的預(yù)測(cè)。
對(duì)于每個(gè)車載攝像機(jī)，虛擬射線是從其安裝位置投射到語(yǔ)義分割的真值BEV圖像邊緣上，且這個(gè)射線僅投射到特定攝像頭視野的邊緣像素。
展開 我們采用了仿真器內(nèi)置的OpenCV標(biāo)準(zhǔn)內(nèi)參建模，輸出圖像同步生成物體的2D/3D邊界框與語(yǔ)義標(biāo)簽。
圖3 環(huán)視OpenCV魚眼相機(jī)傳感器配置
3、BEV圖像生成與AVM拼接
利用已知相機(jī)內(nèi)參和標(biāo)定區(qū)域結(jié)構(gòu)，通過OpenCV完成圖像去畸變與投影矩陣求解，逐方向生成BEV視圖（Bird's Eye View）。結(jié)合車輛圖層與坐標(biāo)對(duì)齊規(guī)則，拼接生成完整的AVM圖像。
支持配置圖像分辨率（如1cm2/像素）與投影視野范圍，確保幾何準(zhǔn)確性。
圖4 投影區(qū)域及BEV轉(zhuǎn)化示意圖
4、多場(chǎng)景合成與傳感器布局優(yōu)化
通過批量仿真腳本，可快速測(cè)試不同環(huán)境（如夜間、窄巷、地庫(kù)）、不同相機(jī)布局組合對(duì)AVM系統(tǒng)效果的影響。在算法不變的前提下，系統(tǒng)性評(píng)估外參配置的優(yōu)劣，為傳感器部署提供數(shù)據(jù)支持。
圖5 不同場(chǎng)景下的AVM合成數(shù)據(jù)
三、合成數(shù)據(jù)構(gòu)建多模態(tài)數(shù)據(jù)集
隨著智能駕駛逐步從基礎(chǔ)輔助走向復(fù)雜場(chǎng)景下的高階功能，對(duì)感知系統(tǒng)的數(shù)據(jù)需求也在迅速升級(jí)。不僅需要覆蓋高速、城區(qū)、出入口等典型 NOA 場(chǎng)景，還要求在不同模態(tài)之間實(shí)現(xiàn)精確對(duì)齊，以支撐融合感知模型的訓(xùn)練與驗(yàn)證。在這類任務(wù)中，仿真生成的合成數(shù)據(jù)具備可控性強(qiáng)、標(biāo)簽精準(zhǔn)、格式標(biāo)準(zhǔn)的優(yōu)勢(shì)，正在成為算法開發(fā)的重要支撐手段。
在智能領(lǐng)航輔助（NOA）場(chǎng)景中，系統(tǒng)需識(shí)別高速匝道、變道車輛、道路邊緣等要素，對(duì)訓(xùn)練數(shù)據(jù)多樣性與標(biāo)注精度要求極高。通過仿真構(gòu)建城市快速路、高速公路等多類 NOA 場(chǎng)景，配合光照、天氣、車流密度等變量自動(dòng)生成圖像與多模態(tài)同步數(shù)據(jù)。這類合成數(shù)據(jù)可用于訓(xùn)練檢測(cè)、分割、追蹤等模型模塊，特別適合用于填補(bǔ)實(shí)車采集難以覆蓋的復(fù)雜或高風(fēng)險(xiǎn)場(chǎng)景，增強(qiáng)模型魯棒性。
展開 三種不同的融合策略
決策層的融合其實(shí)就是分別處理雷達(dá)和圖像數(shù)據(jù)，將兩種數(shù)據(jù)中得到的結(jié)果進(jìn)行融合。這種方法需要考慮的是如何將不同可信度的結(jié)果整合到一起，采用的多是傳統(tǒng)的基于濾波的策略。由于并沒有充分考慮特征層面的互補(bǔ)性，這種方法對(duì)系統(tǒng)性能的提升有限。
下面重點(diǎn)來(lái)講一講數(shù)據(jù)層融合和特征層融合。
數(shù)據(jù)層融合
其實(shí)這種方法叫做特征 + 決策融合更貼切一些，因?yàn)槠浜诵乃枷胧怯梢环N傳感器數(shù)據(jù)生成目標(biāo)物體的候選（術(shù)語(yǔ)稱作 Proposal），然后在另外一種傳感器數(shù)據(jù)上進(jìn)行驗(yàn)證。
這也就相當(dāng)于融合了一種傳感器的決策（Proposal）和另外一種傳感器的數(shù)據(jù)。
一般來(lái)說，由于雷達(dá)點(diǎn)云已經(jīng)很接近于物體檢測(cè)的結(jié)果，Proposal 會(huì)基于點(diǎn)云來(lái)生成。
你可以理解為一個(gè)點(diǎn)就是一個(gè)物體 Proposal 或者對(duì)點(diǎn)云做一個(gè)簡(jiǎn)單的聚類，每個(gè)類作為一個(gè)物體，然后將生成的 Proposal 從雷達(dá)坐標(biāo)系（一般是 Bird's Eye View, BEV）映射到圖像坐標(biāo)系，并根據(jù) Proposal 的距離來(lái)生成候選的 Boundingbox。
最后就是用傳統(tǒng)的基于 CNN 的方法（比如 Faster RCNN）來(lái)對(duì) Proposal 進(jìn)行分類。
更復(fù)雜一些的方法會(huì)先將點(diǎn)云轉(zhuǎn)換成 BEV 坐標(biāo)下的圖像，采用基于 CNN 的物體檢測(cè)網(wǎng)絡(luò)生成 Proposal，與直接由點(diǎn)云生成 Proposal 相比，基于 BEV 圖像的方法增加了計(jì)算量，但一般來(lái)說生成的 Proposal 質(zhì)量會(huì)高很多，畢竟 CNN 可以從點(diǎn)云中抽取更為豐富的物體和場(chǎng)景信息。
也有人提出通過雷達(dá) BEV 數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)同時(shí)生成 Proposall。
展開 三種不同的融合策略
決策層的融合其實(shí)就是分別處理雷達(dá)和圖像數(shù)據(jù)，將兩種數(shù)據(jù)中得到的結(jié)果進(jìn)行融合。這種方法需要考慮的是如何將不同可信度的結(jié)果整合到一起，采用的多是傳統(tǒng)的基于濾波的策略。由于并沒有充分考慮特征層面的互補(bǔ)性，這種方法對(duì)系統(tǒng)性能的提升有限。
下面重點(diǎn)來(lái)講一講數(shù)據(jù)層融合和特征層融合。
數(shù)據(jù)層融合
其實(shí)這種方法叫做特征 + 決策融合更貼切一些，因?yàn)槠浜诵乃枷胧怯梢环N傳感器數(shù)據(jù)生成目標(biāo)物體的候選（術(shù)語(yǔ)稱作 Proposal），然后在另外一種傳感器數(shù)據(jù)上進(jìn)行驗(yàn)證。
這也就相當(dāng)于融合了一種傳感器的決策（Proposal）和另外一種傳感器的數(shù)據(jù)。
一般來(lái)說，由于雷達(dá)點(diǎn)云已經(jīng)很接近于物體檢測(cè)的結(jié)果，Proposal 會(huì)基于點(diǎn)云來(lái)生成。
你可以理解為一個(gè)點(diǎn)就是一個(gè)物體 Proposal 或者對(duì)點(diǎn)云做一個(gè)簡(jiǎn)單的聚類，每個(gè)類作為一個(gè)物體，然后將生成的 Proposal 從雷達(dá)坐標(biāo)系（一般是 Bird's Eye View, BEV）映射到圖像坐標(biāo)系，并根據(jù) Proposal 的距離來(lái)生成候選的 Boundingbox。
最后就是用傳統(tǒng)的基于 CNN 的方法（比如 Faster RCNN）來(lái)對(duì) Proposal 進(jìn)行分類。
更復(fù)雜一些的方法會(huì)先將點(diǎn)云轉(zhuǎn)換成 BEV 坐標(biāo)下的圖像，采用基于 CNN 的物體檢測(cè)網(wǎng)絡(luò)生成 Proposal，與直接由點(diǎn)云生成 Proposal 相比，基于 BEV 圖像的方法增加了計(jì)算量，但一般來(lái)說生成的 Proposal 質(zhì)量會(huì)高很多，畢竟 CNN 可以從點(diǎn)云中抽取更為豐富的物體和場(chǎng)景信息。
也有人提出通過雷達(dá) BEV 數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)同時(shí)生成 Proposall。
展開 特征融合：
最直觀的就是將點(diǎn)云投影到圖像上，然后利用圖像處理方法進(jìn)行特征提取，但輸出也是圖像級(jí)，對(duì)于3D空間的定位不是很準(zhǔn)確。如DepthRCNN就是一種基于RCNN的二維對(duì)象檢測(cè)、實(shí)例和語(yǔ)義分割架構(gòu)。《Cross modal distillation for supervision transfer》則是在圖像數(shù)據(jù)和深度圖像之間做遷移，當(dāng)然還有其他，這一塊后續(xù)會(huì)專門介紹。
多級(jí)融合，
這個(gè)其實(shí)是結(jié)果級(jí)融合與特征級(jí)融合的結(jié)合，主要工作可以歸結(jié)為點(diǎn)融合（Pointfusion），
點(diǎn)融合首先利用現(xiàn)有的2D檢測(cè)模型生成2D bbox，然后用于通過向圖像平面的投影點(diǎn)來(lái)定位通過方框的點(diǎn)，最后采用一個(gè)ResNet和一個(gè)PointNet結(jié)合的網(wǎng)絡(luò)將點(diǎn)云與圖像特征結(jié)合來(lái)估計(jì)3D目標(biāo)。類似的方案還很多，如SIFRNet、Pointsift。
5B）基于3D的模型
略（個(gè)人對(duì)這一塊很感興趣，會(huì)專門對(duì)提到的文章進(jìn)行閱讀，見諒）。
Stationary Road Object Detection
靜止物體檢測(cè)，其實(shí)對(duì)在線校準(zhǔn)起到很大的作用。固定的道路物體包括路面、道路標(biāo)記、交通標(biāo)識(shí)牌等。
道路/車道檢測(cè)，有很多方法，
這里專門介紹一下基于深度學(xué)習(xí)的融合策略。
可以分為基于BEV的方法或者基于前視圖的方法?！禗eep multi-sensor lane detection》利用CNN從點(diǎn)云中預(yù)測(cè)密集的BEV高度估計(jì)，然后與BEV圖像融合，以進(jìn)行精確的車道檢測(cè)，但這種方法無(wú)法區(qū)分不同的車道類型。
展開 
BEV圖像的相關(guān)專題、標(biāo)簽、搜索
BEV圖像的最新內(nèi)容
可視化驗(yàn)證：內(nèi)置腳本支持LiDAR點(diǎn)云、Radar PCD文件以及帶3D GT框的圖像/BEV視角可視化，確保數(shù)據(jù)“所見即所得”。
二、 數(shù)據(jù)集概覽：豐富場(chǎng)景與高保真環(huán)境
基于上述工具鏈，我們構(gòu)建了SimData數(shù)據(jù)集，旨在覆蓋高速、城區(qū)、停車場(chǎng)等典型及復(fù)雜道路環(huán)境。
規(guī)模統(tǒng)計(jì)：包含15個(gè)獨(dú)立地圖，共計(jì)45個(gè)場(chǎng)景。
圖3 環(huán)視OpenCV魚眼相機(jī)傳感器配置
3、BEV圖像生成與AVM拼接
利用已知相機(jī)內(nèi)參和標(biāo)定區(qū)域結(jié)構(gòu)，通過OpenCV完成圖像去畸變與投影矩陣求解，逐方向生成BEV視圖（Bird's Eye View）。結(jié)合車輛圖層與坐標(biāo)對(duì)齊規(guī)則，拼接生成完整的AVM圖像。
支持配置圖像分辨率（如1cm2/像素）與投影視野范圍，確保幾何準(zhǔn)確性。
從這些公開信息來(lái)看，也觀察到了一些行業(yè)趨勢(shì)，例如在線建圖、圖像BEV感知、點(diǎn)圖融合以及車道線矢量拓?fù)浣５?。本文將?duì)相關(guān)的學(xué)術(shù)工作和自動(dòng)駕駛公司的技術(shù)方案進(jìn)行解讀，以及談?wù)剛€(gè)人的一些思考。
這兩球的顏色是一樣的？不，我不信！
為文本到圖像的 diffusion 模型添加條件控制
本文提出一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) ControlNet，用來(lái)控制預(yù)訓(xùn)練的大型擴(kuò)散模型，并使其支持額外的輸入條件。
通常，降維操作的投影不可避免地會(huì)導(dǎo)致大量信息丟失，例如將 3D LiDAR 點(diǎn)云映射到BEV 圖像中。因此，通過將兩種模態(tài)數(shù)據(jù)映射為另一種專為融合而設(shè)計(jì)的高維表示，未來(lái)的工作可以有效地利用原始數(shù)據(jù)，同時(shí)減少信息丟失。
更合理的融合操作
當(dāng)前的研究工作使用直觀的方法來(lái)融合跨模態(tài)數(shù)據(jù)，例如連接和元素乘法。
通常，降維操作的投影不可避免地會(huì)導(dǎo)致大量信息丟失，例如將 3D LiDAR 點(diǎn)云映射到BEV 圖像中。因此，通過將兩種模態(tài)數(shù)據(jù)映射為另一種專為融合而設(shè)計(jì)的高維表示，未來(lái)的工作可以有效地利用原始數(shù)據(jù)，同時(shí)減少信息丟失。
更合理的融合操作
當(dāng)前的研究工作使用直觀的方法來(lái)融合跨模態(tài)數(shù)據(jù)，例如連接和元素乘法。這些簡(jiǎn)單的操作可能無(wú)法融合分布差異較大的數(shù)據(jù)，因此難以彌合兩種模態(tài)之間的語(yǔ)義差距。
基于BEV圖像的鳥瞰圖生成
既然BEV圖像對(duì)于自動(dòng)駕駛顯得如此重要，那么就需要在這里對(duì)相關(guān)的圖像生成原理進(jìn)行闡述說明。自動(dòng)駕駛感知中BEV的圖像生成由一組神經(jīng)網(wǎng)絡(luò)組成，這些神經(jīng)網(wǎng)絡(luò)從不同的傳感器探測(cè)中獲取環(huán)境數(shù)據(jù)，這些傳感器包含毫米波雷達(dá)、激光雷達(dá)、整個(gè)車載攝像頭，并將其轉(zhuǎn)換為單個(gè)通用的自上而下的語(yǔ)義網(wǎng)格表示形式。
你可以理解為一個(gè)點(diǎn)就是一個(gè)物體 Proposal 或者對(duì)點(diǎn)云做一個(gè)簡(jiǎn)單的聚類，每個(gè)類作為一個(gè)物體，然后將生成的 Proposal 從雷達(dá)坐標(biāo)系（一般是 Bird's Eye View, BEV）映射到圖像坐標(biāo)系，并根據(jù) Proposal 的距離來(lái)生成候選的 Boundingbox。
你可以理解為一個(gè)點(diǎn)就是一個(gè)物體 Proposal 或者對(duì)點(diǎn)云做一個(gè)簡(jiǎn)單的聚類，每個(gè)類作為一個(gè)物體，然后將生成的 Proposal 從雷達(dá)坐標(biāo)系（一般是 Bird's Eye View, BEV）映射到圖像坐標(biāo)系，并根據(jù) Proposal 的距離來(lái)生成候選的 Boundingbox。
《Deep multi-sensor lane detection》利用CNN從點(diǎn)云中預(yù)測(cè)密集的BEV高度估計(jì)，然后與BEV圖像融合，以進(jìn)行精確的車道檢測(cè)，但這種方法無(wú)法區(qū)分不同的車道類型。類似的還有《A novel approach for detecting road based on two-stream fusion fully convolutional network》。
