3D物體檢測
關注創(chuàng)建者：匿名 創(chuàng)建時間：2021-08-09
3D物體檢測的視頻教程
電磁檢測與仿真系列課-05-Comsol 2D、3D電感式磨粒傳感器仿真
傳感器工作原理，線圈檢測原理 2. 2D\3D模型參數化建模處理 3. 2D動網格仿真設置及求解器設置 4. 2D仿真提取感應線圈完整載波和包絡信號 5. 3D仿真設置及微小顆粒網格剖分 6. 3D仿真噪聲的去除及提取感應電動勢信號
￥300 56分鐘 69播放
查看
3D物體檢測的實例教程
編者按：3D物體檢測（目標檢測）是智能汽車感知系統(tǒng)的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優(yōu)點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業(yè)界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯方法應用到了交通場景的單目3D物體檢測，并引入了不確定性傳播，可以描述物體位置的不確定性。針對深度回歸問題中偶然不確定性的估計，本文提出了魯棒KL損失，顯著提升了檢測精度，對于一般的不確定性估計網絡有借鑒價值。
摘要：
單目視覺3D物體檢測的主要難點在于物體在3D空間中的定位。近年關于6DoF位姿估計的研究表明，預測圖像與物體3D模型之間的2D-3D稠密關聯（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓練均依賴物體的3D模型真值，這一條件在真實的室外場景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測算法，以自監(jiān)督的形式學習稠密關聯和物體幾何，這一過程中僅需用到物體的3D框標注。本文使用基于不確定性的區(qū)域重建網絡回歸與2D像素相關聯的3D坐標。自監(jiān)督訓練是指將3D坐標重投影以重構圖像的2D坐標。為優(yōu)化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測試階段，網絡預測的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計物體的位姿及其協(xié)方差。
展開 這主要是因為當我們拍攝圖像時，在鏡頭中有不同距離和不同比例的物體。
你面前的車看起來會比遠處的車大得多，但你仍然需要考慮這兩方面。
就像我們一樣，當我們看到遠處的人，感覺是自己的朋友，但等走近了確定后才會喊他的名字，對于這種遠處的物體，車輛會缺乏細節(jié)。
為了解決這個問題，我們將從網絡的不同層次中提取和分享信息。在整個網絡中共享信息是一個強大的解決方案，因為神經網絡使用固定大小的小檢測器來壓縮圖像，我們越深入到網絡。
意味著早期的層將能夠檢測到小物體，且只能檢測到大物體的邊緣或部分。更深的層將失去小物體，但能夠非常精確地檢測大物體。
這種方法的主要挑戰(zhàn)是通過這些連接將這兩種不同類型的信息結合起來，LiDAR 3D空間數據和更常規(guī)的RGB幀。如前所述，在所有的網絡步驟中使用這兩種信息，是更好地理解整個場景的最好方法。
但我們如何才能將兩個不同的信息流合并起來，并有效地利用時間維度？這兩個分支之間的數據轉換是網絡在訓練過程中以一種有監(jiān)督的方式學習的，其過程與self-attention機制類似，試圖重新創(chuàng)建世界的真實模型。
展開 LiDAR 的輸出數據是 3D 點云，每一個點除了包含 X，Y，Z 坐標，還包含一個反射強度 R，類似與毫米波雷達里的 RCS。3D 物體檢測的目標是要根據點云數據來找到場景中所有感興趣的物體，比如自動駕駛場景中的車輛，行人，靜態(tài)障礙物等等。
下圖以車輛為例，來說明輸出結果的格式。簡單來說，檢測算法輸出多個 3D 矩形框（術語稱為 3D BoundingBox，簡稱 3D BBox），每個框對應一個場景中的物體。3D BBox 可以有多種表示方法，一般最常用的就是用中心點 3D 坐標，長寬高，以及 3D 旋轉角度來表示（簡單一些的話可以只考慮平面內旋轉，也就是下圖中的 θ）。
檢測算法輸出的 3D BBox 與人工標注的數據進行對比，一般采用 3D IoU （Intersection over Unoin）來衡量兩個 BBox 重合的程度，高于設定的閾值就被認為是一個成功的檢測，反之則認為物體沒有被檢測到（False Negative）。如果在沒有物體的區(qū)域出現了 BBox 輸出，則被認為是一個誤檢（False Positive）。評測算法會同時考慮這兩個指標，給出一個綜合的分數，比如 AP（Average Precision）以此為標準來評價算法的優(yōu)劣。由于不是本文的重點，具體的細節(jié)這里就不做贅述了。
基于 LiDAR 點云的 3D 物體檢測示意圖
萌芽期 （2017 年之前）
有了前面的鋪墊，下面我們的算法之旅正式開始了。
展開 來源 | CV研習社
導讀：3D目標檢測的主要應用場景就是自動駕駛，雖然現階段基于點云的3D目標檢測的方法的性能不斷提升，但相比于激光雷達高昂的造價以及在復雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標檢測逐漸成為了研究熱點。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來學習一下吧。
Part 01 3D目標檢測應用背景
3D目標檢測目前應用的主要場景就是自動駕駛，汽車在行駛過程中，需要時刻感知周圍的環(huán)境，并及時獲取障礙物的3維信息。3維信息的獲取通常會依靠3D傳感器，如激光雷達，雙目相機等，但此類傳感器成本通常較高。低成本的方案是通過單目相機結合深度估計的方式，目前該方案也在大力發(fā)展中。3D目標檢測所使用的數據集大部分也就是自動駕駛數據集，類別主要是車輛和行人。通過3D目標檢測算法，可以給出障礙物的3D bbox，可以精準的判斷物體的位置和朝向，將該信息提供給規(guī)劃模塊，就可以對車輛的行駛路線進行合理的規(guī)劃。
展開 不同的融合策略
物體檢測的策略分為：決策層融合，決策+特征層融合，以及特征層融合。在決策層融合中，圖像和點云分別得到物體檢測結果（BoundingBox），轉換到統(tǒng)一坐標系后再進行合并。這種策略中用到的大都是一些傳統(tǒng)的方法，比如IoU計算，卡爾曼濾波等，與深度學習關系不大，本文就不做介紹了。下面重點來講講后兩種融合策略。
2.1 決策+特征層融合
這種策略的主要思路是將先通過一種數據生成物體的候選框（Proposal）。如果采用圖像數據，那么生成的就是2D候選框，如果采用點云數據，那么生成的就是3D候選框。然后將候選框與另外一種數據相結合來生成最終的物體檢測結果（也可以再重復利用生成候選框的數據）。這個結合的過程就是將候選框和數據統(tǒng)一到相同的坐標系下，可以是3D點云坐標（比如F-PointNet），也可以是2D圖像坐標（比如IPOD）。
F-PointNet[2]由圖像數據生成2D物體候選框，然后將這些候選框投影到3D空間。每個2D候選框在3D空間對應一個視椎體（Frustum），并將落到視椎體中所有點合并起來作為該候選框的特征。視椎體中的點可能來自前景的遮擋物體或者背景物體，所以需要進行3D實例分割來去除這些干擾，只保留物體上的點，用來進行后續(xù)的物體框估計（類似PointNet中的處理方式）。這種基于視椎的方法，其缺點在于每個視椎中只能處理一個要檢測的物體，這對于擁擠的場景和小目標（比如行人）來說是不能滿足要求的。
F-PointNet網絡結構圖
針對視椎的上述問題，IPOD[3]提出采用2D語義分割來替換2D物體檢測。首先，圖像上的語義分割結果被用來去除點云中的背景點，這是通過將點云投影到2D圖像空間來完成的。
展開 
3D物體檢測的相關專題、標簽、搜索
3D物體檢測的最新內容
試模 > 質量檢測 分頁顯示了該試模的檢測紀錄，檢測項目可以在 系統(tǒng)設定 > 數據定義 > 質量檢測 頁面中被創(chuàng)建或編輯。請?zhí)貏e注意 3D Scan 被系統(tǒng)默認為一直都會存在的項目。可以點擊 編輯 按鈕修改 3D Scan 的描述；若用戶想新增檢測項目，則點擊 新增 按鈕并在下拉選單中選擇一個檢測對象，完成后點擊 提交 即可新增成功。用戶也可以點擊 上傳 按鈕將相關檔案上傳以記錄；或點擊齒輪圖標按鈕
品質檢測 ( Inspection )
為檢測數據庫創(chuàng)建新的質量檢測項目，建立完后會顯示于 管理功能 > 項目 > 檢視 > 試模 > 質量檢測 的頁面中。能讓使用者在試模時得以針對自定義義的項目紀錄檢測信息。
點擊編輯或刪除符號編輯或刪除現有的質量檢測項目。
一個質量檢測對象中可以包含多個子標題和測量單位，此外，用戶也可為檢測對象和其子項目列表設定不同的狀態(tài)。這些狀態(tài)會影響到它們是否能在
來源 | 自動駕駛之心
近年來，Transformer架構在各種自動駕駛應用中表現出了良好的性能。另一方面，其在便攜式計算平臺上的專用硬件加速已成為在真正的自動駕駛汽車中實際部署的下一個關鍵步驟。這篇綜述對基于Transformer的模型進行了全面的概述、基準測試和分析，這些模型專門為自動駕駛任務（如車道線檢測、分割、跟蹤、規(guī)劃和決策）量身定制。
作者回顧了用于組織Transformer
因為在行駛中，除了常見障礙物如車輛、行人，我們可以通過3D物體檢測的方式來估計他們的位置和大小，還有更多長尾的障礙物也會對行駛產生重要影響。例如：1.可變形的障礙物，如兩節(jié)的掛車，不適合用3D bounding box來表示；2.異形障礙物，如翻倒的車輛，3D姿態(tài)估計會失效；3.不在已知類別中的障礙物，如路上的石子、垃圾等，無法進行分類。
這篇論文總結到，“我們提出了4D-Net，它學會了如何結合3D點云和RGB攝像頭圖像，以便在自動駕駛中廣泛地應用3D物體檢測。”
這就是我們所說的3D物體檢測。這也是汽車最終會看到的東西。
但是融合的過程丟失了很多3D空間信息，因此對于3D物體檢測來說效果并不好。由于3D物體檢測領域的迅速發(fā)展，特征層融合也更傾向于在3D坐標下完成，這樣可以為3D物體檢測提供更多信息。
ContFuse[7]采用連續(xù)卷積（Continuous Convolution）來融合點云和圖像特征。融合過程在BEV視圖下完成。
3D detection head的設計
在3D物體檢測中，與2D目標檢測不同，預定義的
3D detection head以FPN輸出的特征圖作為輸入，經過4個3X3的2D卷積后，對每一個的位置將會預測出12個數值，其中3D Bounding box包含10個數值，逐像素深度圖包含1
編者按：3D物體檢測（目標檢測）是智能汽車感知系統(tǒng)的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優(yōu)點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業(yè)界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。
作者 | 維維@知乎
來源 | https://zhuanlan.zhihu.com/p/402128801
1. 點云分類(羅蒙諾索夫莫斯科國立大學)
Legend: red — ground, black — building, navy — car, green — tree, cyan — low-vegetation
理論上說，物體檢測模塊輸出的3D物體框可以直接用來做實例分割：可以簡單的認為物體框內的點就是實例上的點。但是，就算是手工標注的物體框，其內的點也會有大約12-16%左右是outlier（文章[11]中的統(tǒng)計）。因此，直接通過檢測結果來生成實例分割是不準確的。在LiDARSeg中，每個網格都會輸出預測的物體中心點位置和高度的范圍。
