單目視覺3D物體檢測的案例
基于重建和不確定性傳播的單目視覺3D物體檢測
編者按：3D物體檢測（目標檢測）是智能汽車感知系統的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯方法應用到了交通場景的單目3D物體檢測，并引入了不確定性傳播，可以描述物體位置的不確定性。針對深度回歸問題中偶然不確定性的估計，本文提出了魯棒KL損失，顯著提升了檢測精度，對于一般的不確定性估計網絡有借鑒價值。
摘要：
單目視覺3D物體檢測的主要難點在于物體在3D空間中的定位。近年關于6DoF位姿估計的研究表明，預測圖像與物體3D模型之間的2D-3D稠密關聯（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓練均依賴物體的3D模型真值，這一條件在真實的室外場景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測算法，以自監督的形式學習稠密關聯和物體幾何，這一過程中僅需用到物體的3D框標注。本文使用基于不確定性的區域重建網絡回歸與2D像素相關聯的3D坐標。自監督訓練是指將3D坐標重投影以重構圖像的2D坐標。為優化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測試階段，網絡預測的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計物體的位姿及其協方差。
展開 單目視覺系統檢測車輛的測距方法（Mobileye單目測距等7種方法）
作者 |
CV_Community
來源 |
計算機視覺社區
本文還是在傳統機器視覺的基礎上討論單目測距，深度學習直接估計深度圖不屬于這個議題，主要通過mobileye的論文管中窺豹，相信離實際工程應用還有很遠。
以前提過單目測距的問題，檢測的障礙物2-D框加上攝像頭的姿態和路面假設。以下根據公開發布的論文討論具體的算法：
注：
深度學習直接估計深度圖不屬于這個議題。
1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
著名的Mobileye論文，先看成像幾何如圖：
本車A，前方車B和C，攝像頭P焦距f，高度H，和障礙物B/C距離Z1/Z2，B/C檢測框著地點在圖像的投影是y1/y2。那么y=fH/Z，所以Z=fH/y。下面是三個不同距離的估計結果：
精度測量得到：90米誤差大約10%, 44米誤差約為5%。
展開 DD3D:基于預訓練的單目3D目標檢測
來源 | CV研習社
導讀：3D目標檢測的主要應用場景就是自動駕駛，雖然現階段基于點云的3D目標檢測的方法的性能不斷提升，但相比于激光雷達高昂的造價以及在復雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標檢測逐漸成為了研究熱點。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來學習一下吧。
Part 01 3D目標檢測應用背景
3D目標檢測目前應用的主要場景就是自動駕駛，汽車在行駛過程中，需要時刻感知周圍的環境，并及時獲取障礙物的3維信息。3維信息的獲取通常會依靠3D傳感器，如激光雷達，雙目相機等，但此類傳感器成本通常較高。低成本的方案是通過單目相機結合深度估計的方式，目前該方案也在大力發展中。3D目標檢測所使用的數據集大部分也就是自動駕駛數據集，類別主要是車輛和行人。通過3D目標檢測算法，可以給出障礙物的3D bbox，可以精準的判斷物體的位置和朝向，將該信息提供給規劃模塊，就可以對車輛的行駛路線進行合理的規劃。
展開 