單目視覺(jué)3D物體檢測(cè)
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2021-11-17
單目視覺(jué)3D物體檢測(cè)的實(shí)例教程
編者按：3D物體檢測(cè)（目標(biāo)檢測(cè)）是智能汽車(chē)感知系統(tǒng)的重要任務(wù)。在眾多應(yīng)用于智能汽車(chē)的傳感器中，相機(jī)這一視覺(jué)傳感器具有分辨率高、成本較低、部署方便等優(yōu)點(diǎn)。基于相機(jī)RGB圖像的低成本3D物體檢測(cè)是當(dāng)下學(xué)界和工業(yè)界的研究熱點(diǎn)。其中，相比多目視覺(jué)3D物體檢測(cè)，單目視覺(jué)3D物體檢測(cè)是更為基礎(chǔ)的問(wèn)題，其難點(diǎn)在于估計(jì)物體的距離。本文將6DoF位姿估計(jì)領(lǐng)域常用的稠密關(guān)聯(lián)方法應(yīng)用到了交通場(chǎng)景的單目3D物體檢測(cè)，并引入了不確定性傳播，可以描述物體位置的不確定性。針對(duì)深度回歸問(wèn)題中偶然不確定性的估計(jì)，本文提出了魯棒KL損失，顯著提升了檢測(cè)精度，對(duì)于一般的不確定性估計(jì)網(wǎng)絡(luò)有借鑒價(jià)值。
摘要：
單目視覺(jué)3D物體檢測(cè)的主要難點(diǎn)在于物體在3D空間中的定位。近年關(guān)于6DoF位姿估計(jì)的研究表明，預(yù)測(cè)圖像與物體3D模型之間的2D-3D稠密關(guān)聯(lián)（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓(xùn)練均依賴(lài)物體的3D模型真值，這一條件在真實(shí)的室外場(chǎng)景中難以滿(mǎn)足。為解決這一問(wèn)題，本文提出了MonoRUn檢測(cè)算法，以自監(jiān)督的形式學(xué)習(xí)稠密關(guān)聯(lián)和物體幾何，這一過(guò)程中僅需用到物體的3D框標(biāo)注。本文使用基于不確定性的區(qū)域重建網(wǎng)絡(luò)回歸與2D像素相關(guān)聯(lián)的3D坐標(biāo)。自監(jiān)督訓(xùn)練是指將3D坐標(biāo)重投影以重構(gòu)圖像的2D坐標(biāo)。為優(yōu)化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測(cè)試階段，網(wǎng)絡(luò)預(yù)測(cè)的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計(jì)物體的位姿及其協(xié)方差。
展開(kāi) 作者 |
CV_Community
來(lái)源 |
計(jì)算機(jī)視覺(jué)社區(qū)
本文還是在傳統(tǒng)機(jī)器視覺(jué)的基礎(chǔ)上討論單目測(cè)距，深度學(xué)習(xí)直接估計(jì)深度圖不屬于這個(gè)議題，主要通過(guò)mobileye的論文管中窺豹，相信離實(shí)際工程應(yīng)用還有很遠(yuǎn)。
以前提過(guò)單目測(cè)距的問(wèn)題，檢測(cè)的障礙物2-D框加上攝像頭的姿態(tài)和路面假設(shè)。以下根據(jù)公開(kāi)發(fā)布的論文討論具體的算法：
注：
深度學(xué)習(xí)直接估計(jì)深度圖不屬于這個(gè)議題。
1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
著名的Mobileye論文，先看成像幾何如圖：
本車(chē)A，前方車(chē)B和C，攝像頭P焦距f，高度H，和障礙物B/C距離Z1/Z2，B/C檢測(cè)框著地點(diǎn)在圖像的投影是y1/y2。那么y=fH/Z，所以Z=fH/y。下面是三個(gè)不同距離的估計(jì)結(jié)果：
精度測(cè)量得到：90米誤差大約10%, 44米誤差約為5%。
展開(kāi) 來(lái)源 | CV研習(xí)社
導(dǎo)讀：3D目標(biāo)檢測(cè)的主要應(yīng)用場(chǎng)景就是自動(dòng)駕駛，雖然現(xiàn)階段基于點(diǎn)云的3D目標(biāo)檢測(cè)的方法的性能不斷提升，但相比于激光雷達(dá)高昂的造價(jià)以及在復(fù)雜天氣情況下的敏感性。研究人員將目光投向了基于視覺(jué)的方案，因此單目3D目標(biāo)檢測(cè)逐漸成為了研究熱點(diǎn)。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來(lái)學(xué)習(xí)一下吧。
Part 01 3D目標(biāo)檢測(cè)應(yīng)用背景
3D目標(biāo)檢測(cè)目前應(yīng)用的主要場(chǎng)景就是自動(dòng)駕駛，汽車(chē)在行駛過(guò)程中，需要時(shí)刻感知周?chē)沫h(huán)境，并及時(shí)獲取障礙物的3維信息。3維信息的獲取通常會(huì)依靠3D傳感器，如激光雷達(dá)，雙目相機(jī)等，但此類(lèi)傳感器成本通常較高。低成本的方案是通過(guò)單目相機(jī)結(jié)合深度估計(jì)的方式，目前該方案也在大力發(fā)展中。3D目標(biāo)檢測(cè)所使用的數(shù)據(jù)集大部分也就是自動(dòng)駕駛數(shù)據(jù)集，類(lèi)別主要是車(chē)輛和行人。通過(guò)3D目標(biāo)檢測(cè)算法，可以給出障礙物的3D bbox，可以精準(zhǔn)的判斷物體的位置和朝向，將該信息提供給規(guī)劃模塊，就可以對(duì)車(chē)輛的行駛路線(xiàn)進(jìn)行合理的規(guī)劃。
展開(kāi) 
單目視覺(jué)3D物體檢測(cè)的相關(guān)專(zhuān)題、標(biāo)簽、搜索
單目視覺(jué)3D物體檢測(cè)的最新內(nèi)容
來(lái)源 | CV研習(xí)社
導(dǎo)讀：3D目標(biāo)檢測(cè)的主要應(yīng)用場(chǎng)景就是自動(dòng)駕駛，雖然現(xiàn)階段基于點(diǎn)云的3D目標(biāo)檢測(cè)的方法的性能不斷提升，但相比于激光雷達(dá)高昂的造價(jià)以及在復(fù)雜天氣情況下的敏感性。研究人員將目光投向了基于視覺(jué)的方案，因此單目3D目標(biāo)檢測(cè)逐漸成為了研究熱點(diǎn)。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed
其中，相比多目視覺(jué)3D物體檢測(cè)，單目視覺(jué)3D物體檢測(cè)是更為基礎(chǔ)的問(wèn)題，其難點(diǎn)在于估計(jì)物體的距離。本文將6DoF位姿估計(jì)領(lǐng)域常用的稠密關(guān)聯(lián)方法應(yīng)用到了交通場(chǎng)景的單目3D物體檢測(cè)，并引入了不確定性傳播，可以描述物體位置的不確定性。
作者 |
CV_Community
來(lái)源 |
計(jì)算機(jī)視覺(jué)社區(qū)
本文還是在傳統(tǒng)機(jī)器視覺(jué)的基礎(chǔ)上討論單目測(cè)距，深度學(xué)習(xí)直接估計(jì)深度圖不屬于這個(gè)議題，主要通過(guò)mobileye的論文管中窺豹，相信離實(shí)際工程應(yīng)用還有很遠(yuǎn)。
以前提過(guò)單目測(cè)距的問(wèn)題，檢測(cè)的障礙物2-D框加上攝像頭的姿態(tài)和路面假設(shè)。以下根據(jù)公開(kāi)發(fā)布的論文討論具體的算法
