3D檢測的案例
DD3D:基于預訓練的單目3D目標檢測
來源 | CV研習社
導讀：3D目標檢測的主要應用場景就是自動駕駛，雖然現階段基于點云的3D目標檢測的方法的性能不斷提升，但相比于激光雷達高昂的造價以及在復雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標檢測逐漸成為了研究熱點。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來學習一下吧。
Part 01 3D目標檢測應用背景
3D目標檢測目前應用的主要場景就是自動駕駛，汽車在行駛過程中，需要時刻感知周圍的環境，并及時獲取障礙物的3維信息。3維信息的獲取通常會依靠3D傳感器，如激光雷達，雙目相機等，但此類傳感器成本通常較高。低成本的方案是通過單目相機結合深度估計的方式，目前該方案也在大力發展中。3D目標檢測所使用的數據集大部分也就是自動駕駛數據集，類別主要是車輛和行人。通過3D目標檢測算法，可以給出障礙物的3D bbox，可以精準的判斷物體的位置和朝向，將該信息提供給規劃模塊，就可以對車輛的行駛路線進行合理的規劃。
展開 基于重建和不確定性傳播的單目視覺3D物體檢測
編者按：3D物體檢測（目標檢測）是智能汽車感知系統的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯方法應用到了交通場景的單目3D物體檢測，并引入了不確定性傳播，可以描述物體位置的不確定性。針對深度回歸問題中偶然不確定性的估計，本文提出了魯棒KL損失，顯著提升了檢測精度，對于一般的不確定性估計網絡有借鑒價值。
摘要：
單目視覺3D物體檢測的主要難點在于物體在3D空間中的定位。近年關于6DoF位姿估計的研究表明，預測圖像與物體3D模型之間的2D-3D稠密關聯（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓練均依賴物體的3D模型真值，這一條件在真實的室外場景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測算法，以自監督的形式學習稠密關聯和物體幾何，這一過程中僅需用到物體的3D框標注。本文使用基于不確定性的區域重建網絡回歸與2D像素相關聯的3D坐標。自監督訓練是指將3D坐標重投影以重構圖像的2D坐標。為優化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測試階段，網絡預測的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計物體的位姿及其協方差。
展開 3D目標檢測綜述：從數據集到2D和3D方法
4.3 結合 RGB 圖像與點云的目標檢測
Frustum PointNets [36] 同時使用 RGB 圖像和激光雷達點云數據來執行 3D 目標檢測。該算法使用成熟的 2D 目標檢測器來縮小搜索空間。它是通過從圖像檢測器得到的 2D 邊界框來提取 3D 邊界視錐，然后再在經過 3D 視錐修整過的 3D 空間中執行 3D 目標實例分割。
MV3D [37] 也同時使用 RGB 圖像和激光雷達點云數據作為輸入，它是將 3D 點云投影成鳥瞰圖和正視圖。鳥瞰圖表征是通過高度、強度和密度編碼的，而正視圖則是將點云投影到一個圓柱面上生成的。鳥瞰圖可用于生成 3D 先驗邊界框，然后將該 3D 先驗邊界框投影到前視圖和圖像上，這三個輸入生成一個特征圖。該方法采用 ROI 池化來將三個特征圖整合到同一個維度。整合后的數據再在網絡上進行融合，然后輸出分類結果和邊界框。
圖 4：使用 MV3D 的目標檢測示例
展開 PointPillar：利用偽圖像高效實現3D目標檢測
隨著人工智能算法的不斷推進，更多的研究者將目光聚焦到了3D任務，那么在3D視覺任務中，2D卷積神經網絡的神話能否延續呢？答案是肯定的！今天小編將分享一篇3D點云檢測論文—Pointpillars，看看作者如何巧妙的只使用2D卷積，卻實現了高效的3D目標檢測。
01 3D點云檢測的現狀如何
最近幾年點云的三維目標檢測一直很火，從早期的PointNet、PointNet++，到體素網格的VoxelNet，后來大家覺得三維卷積過于耗時，又推出了Complex-yolo等模型把點云投影到二維平面，用圖像的方法做目標檢測，從而加速網絡推理。
所以在點云上實現3D目標檢測通常就是這三種做法：3D卷積、投影到前視圖或者鳥瞰圖（Bev）。
3D卷積的缺點是計算量較大，導致網絡的推理速度較慢。投影的方式受到點云的稀疏性的限制，使得卷積無法較好的提取特征，效率低下。而后來研究熱點轉向了采用鳥瞰圖（Bev）的方式，但存在的明顯的缺點就是需要手動提取特征，不利于推廣到其他的雷達上使用。
撥開那些花里胡哨的網絡，有什么更靠譜的模型能夠權衡速度和精度做三維目標檢測呢？
02橫空殺出的PointPillars
這是一篇前兩年的點云目標檢測網絡，為什么重溫它是因為小編在學習百度Apollo 6.0時發現它被集成進去作為激光雷達的檢測模型了。在這里給大家解析一下該網絡模型，看看有啥特點！
Pointpillars的創新點在于：提出了一種新的編碼方式，利用柱狀物的方式生成偽圖像。
展開 
基于 LiDAR 點云的 3D 物體檢測算法 ｜ 焉知課堂
LiDAR 的輸出數據是 3D 點云，每一個點除了包含 X，Y，Z 坐標，還包含一個反射強度 R，類似與毫米波雷達里的 RCS。3D 物體檢測的目標是要根據點云數據來找到場景中所有感興趣的物體，比如自動駕駛場景中的車輛，行人，靜態障礙物等等。
下圖以車輛為例，來說明輸出結果的格式。簡單來說，檢測算法輸出多個 3D 矩形框（術語稱為 3D BoundingBox，簡稱 3D BBox），每個框對應一個場景中的物體。3D BBox 可以有多種表示方法，一般最常用的就是用中心點 3D 坐標，長寬高，以及 3D 旋轉角度來表示（簡單一些的話可以只考慮平面內旋轉，也就是下圖中的 θ）。
檢測算法輸出的 3D BBox 與人工標注的數據進行對比，一般采用 3D IoU （Intersection over Unoin）來衡量兩個 BBox 重合的程度，高于設定的閾值就被認為是一個成功的檢測，反之則認為物體沒有被檢測到（False Negative）。如果在沒有物體的區域出現了 BBox 輸出，則被認為是一個誤檢（False Positive）。評測算法會同時考慮這兩個指標，給出一個綜合的分數，比如 AP（Average Precision）以此為標準來評價算法的優劣。由于不是本文的重點，具體的細節這里就不做贅述了。
基于 LiDAR 點云的 3D 物體檢測示意圖
萌芽期 （2017 年之前）
有了前面的鋪墊，下面我們的算法之旅正式開始了。
展開 Waymo如何進行3D物體檢測？
我們將通過Waymo和Google Research的新研究論文來研究這個問題，該論文名為“4D-Net: Learning Multi-Modal Alignment for 3D and Image Inputs in Time”。
這篇論文總結到，“我們提出了4D-Net，它學會了如何結合3D點云和RGB攝像頭圖像，以便在自動駕駛中廣泛地應用3D物體檢測。”
這就是我們所說的3D物體檢測。這也是汽車最終會看到的東西。這是一個非常準確的車輛周圍世界的表現，所有物體都出現并被精確識別。
這看起來很酷。但更有趣的是，他們是如何得到這個結果的？
他們使用LiDAR數據（PCiT，Point Clouds in Time）和普通攝像頭（或這里稱為RGB視頻）制作了這個視圖。這些都是四維輸入，就像我們人類看待和理解世界一樣。這四個維度來自拍攝的視頻，因此車輛可以訪問過去的幀幫助理解上下文和對象，以猜測未來的行為，就像我們一樣，創造了第四維度。其他三個是我們所熟悉的3D空間。
我們把這項任務稱為場景理解，它在計算機視覺中得到了廣泛的研究，并隨著該領域和機器學習算法的最新進展而取得了許多進步。
展開 3D目標檢測/點云/遙感數據集匯總
3D對象檢測基準由7481個訓練圖像和7518個測試圖像以及相應的點云組成，包括總共80256個帶標簽的對象，單聲道和立體相機數據,包括校準、測程法等等。
在這里插入圖片描述
5. Beyond PASCAL: A Benchmark for 3D Object Detection in the Wild
PASCAL3D +數據集，它是用于3D對象檢測和姿態估計的新穎且具有挑戰性的數據集。PASCAL3D +通過3D注釋增強了PASCAL VOC 2012 [12]的12個剛性類別。此外，從ImageNet 為每個類別添加了更多圖像。與現有的3D數據集相比，PASCAL3D +圖像具有更大的可變性，并且每個類別平均有3,000多個對象實例。該數據集將為研究3D檢測和姿態估計提供豐富的測試平臺，并將有助于顯著推動這一領域的研究。在新的數據集上提供了DPM 的變化結果，用于在不同情況下進行對象檢測和視點估計。
物體檢測和姿態估計的基準（10個類別，每個類別有10個對象實例）
鏈接：
https://cvgl.stanford.edu/projects/pascal3d.html
6. Oakland 3-D Point Cloud Dataset（奧克蘭 ）
這個數據庫的采集地點是在美國卡耐基梅隆大學周圍，數據采集使用Navlab11，配備側視SICK LMS激光掃描儀，用于推掃。其中包含了完整數據集、測試集、訓練集和驗證集。
展開 Transformer在BEV、2D/3D檢測上的應用、量化與加速！
在自動駕駛應用中，基于Transformer的架構已被廣泛用于各種子任務，包括目標檢測、車道線檢測和分割、跟蹤和定位、路徑規劃和決策。此外，最近的研究探索了Transformer在構建自動駕駛端到端深度學習模型中的應用。這些模型利用注意力機制，進一步提高其專注于相關信息的能力，并在復雜的現實世界駕駛場景中有效執行。
在本節的其余部分中，根據任務回顧了基于Transformer的模型，如表I所示。
主要將任務分為3類：
3D和一般感知任務（包括目標檢測、跟蹤和3D分割）；
2D和平面任務（包括車道線檢測、分割和高清（HD）地圖生成）；
其他任務（包括軌跡預測、行為預測和端到端任務）。
2.2、3D和一般的感知任務
3D和一般感知，包括目標檢測、跟蹤和3D分割任務。這是過去幾年中開發的基于Transformer的模型最受歡迎的研究領域之一。這類任務旨在分割、識別和跟蹤物體，如車輛、行人和環境中的其他元素。
在各種基于Transformer的模型中，DETR是一個早期的重要模型，它啟發了許多后續工作，盡管它最初是為2D檢測而設計的。DETR將目標檢測視為一個使用預生成框的預測問題，并消除了傳統的Anchor。它采用了基于匈牙利算法的二分匹配方法來直接預測一對一的目標集。
已經提出了諸如可變形DETR之類的變體模型，通過引入可變形注意力來提高模型的收斂速度和位置查詢模糊性。在DETR架構的基礎上，DETR3D將Transformer應用于多個相機，用于鳥瞰（BEV）空間中的3D目標檢測。它首先將點云數據（來自激光雷達）轉換為3D體素表示，然后將其輸入到修改的DETR架構中，該架構使用多尺度特征融合來捕獲全局和局部上下文信息。
展開 Moldex3D iSLM資料定義之品質檢測
品質檢測 ( Inspection )
為檢測數據庫創建新的質量檢測項目，建立完后會顯示于 管理功能 > 項目 > 檢視 > 試模 > 質量檢測 的頁面中。能讓使用者在試模時得以針對自定義義的項目紀錄檢測信息。
點擊編輯或刪除符號編輯或刪除現有的質量檢測項目。
一個質量檢測對象中可以包含多個子標題和測量單位，此外，用戶也可為檢測對象和其子項目列表設定不同的狀態。這些狀態會影響到它們是否能在 管理功能>項目>檢視>試模>質量檢測>+>檢測對象 的頁面(下拉式選單)中出現/被選取。以下是當質量檢測標題和子標題狀態設定不一樣時， Moldex3D iSLM 的顯示規則：
質量檢測標題 & 子標題的狀態設定
系統設定 > 數據定義 > 質量檢測
管理功能 > 項目 > 檢視 > 試模 > 質量檢測
在系統設定 > 數據定義 > 質量檢測的項目:
1.創建：
點擊此按鈕新增新的質量檢驗對象。
2.標題：
此顯示質量檢驗對象的名稱。
3.值：
此顯示質量檢測標題中子標題的名稱。
4.狀態 ：
此顯示質量檢驗對象的狀態。此設定影響質量檢測標題或其子標題是否能在 管理功能 > 項目 > 檢視 > 試模 > 質量檢測 > +的頁面 ( 下拉式窗體 ) 中出現。
注意： 請參閱前述的 質量檢測標題 & 子標題的狀態設定 以獲得更多信息。
系統設定 > 數據定義 > 質量檢測 > 創建
系統設定 > 數據定義 > 質量檢測 > 編輯
在系統設定 > 數據定義 > 質量檢測 > 創建 / 編輯:
1.
展開 近期激光雷達點云的3D目標檢測方法
作者 | 黃浴@知乎
編輯 | 3D視覺工坊
來源 | https://zhuanlan.zhihu.com/p/370650927
知圈 | 進“激光雷達社群”請加微信13636581676，備注激光
看到的一些近期激光雷達做目標檢測的論文。
1 Offboard 3D Object Detection from Point Cloud Sequences, 3, 2021.
這是講自動標注。
3D Auto Labeling pipeline
static object auto labeling
dynamic object auto labeling
2 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud, 3, 2021.
預測前景點的空間形狀，提取結構信息。
Spatial Information Enhancement Network (SIENet)
Network architecture of the HP（hybrid paradigm）-RPN
3 Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds, 4, 2021.
展開 Moldex3D模流分析之iSLM品質檢測(Inspection)
試模 > 質量檢測 分頁顯示了該試模的檢測紀錄，檢測項目可以在 系統設定 > 數據定義 > 質量檢測 頁面中被創建或編輯。請特別注意 3D Scan 被系統默認為一直都會存在的項目。可以點擊 編輯 按鈕修改 3D Scan 的描述；若用戶想新增檢測項目，則點擊 新增 按鈕并在下拉選單中選擇一個檢測對象，完成后點擊 提交 即可新增成功。用戶也可以點擊 上傳 按鈕將相關檔案上傳以記錄；或點擊齒輪圖標按鈕 編輯 或 刪除 檢測對象。
注意：
?3D Scan test 不能被刪除。
?可以參照 【管理功能 - 項目 > 項目 > 項目信息 > 3D 比較功能】 章節獲取更多關于 3D 比較功能 的信息。
管理功能 > 項目 > 檢視 > 試模 > 更多 > 品質檢測
在 管理功能 > 項目 > 檢視 > 試模 > 更多 > 質量檢測 的項目：
1.新增：
點擊此按鈕新增一個新的檢測紀錄。
2.編輯：
點擊此按鈕編輯現有的檢測紀錄 ( 3D Scan test )。
3.編輯&刪除：
點擊此齒輪圖示選擇 編輯 或 刪除 功能。
-編輯：點擊此按鈕編輯此檢測紀錄的描述，并點擊 提交 以儲存變更。
-刪除：點擊此按鈕刪除檢測紀錄。
4.描述：
顯示于各檢測對象標題旁的字段。
5.上傳檔案：
點擊此按鈕上傳對應的檔案以記錄信息。
6.3D 比較功能：
請參照 【管理功能 - 項目 > 項目 > 項目信息 > 3D 比較功能】 章節以獲取更多詳細的信息。
展開 
鑄造模具方案優化-用核心氣體模型檢測孔隙度（鑄造仿真分析-FLOW3D）
萊德說FLOW-3D的 結果幫助縮小了他們的設計重點，讓他們立即清楚 （多核設計的核心）是罪魁禍首，甚至核心的哪個領域是問題的根源。
「FLOW3D鑄造仿真」壓力、速度
如何設定壓力、控制速度（射速）、控制溫度等參數？！壓鑄金屬按填充型腔過程，需要考慮壓力、速度、溫度以及時間等工藝因素，使用軟件仿真分析壓鑄過程「高壓鑄造」「壓力鑄造」「壓鑄工藝」
如何設定壓射力最佳壓力值？壓力的大小影響射速，由壓射缸的截面積和工作液的壓力所決定「高壓鑄造」「壓力鑄造」「壓鑄工藝」
如何確定鑄造工藝？高壓鑄造適用范圍？鑄件分為有強度要求的和一般要求的兩類,對于有強度要求的,應該具有良好的致密度.這是應該采用高的增壓比壓「FLOW3D鑄造仿真分析」「高壓鑄造」「壓力鑄造」「壓鑄工藝」
如何設定壓力鑄造壓力、射速？考慮工藝因素和結構復雜程度，導熱和比熱性，凝固溫度范圍，模具溫度，結構。「射速」「壓射速度」
「FLOW3D鑄造仿真」材料
壓鑄鋁合金中各元素的作用和影響「高壓鑄造」「壓力鑄造」「壓鑄工藝」
「FLOW3D鑄造仿真」壓鑄模具
如何優化設計壓鑄模具設計（鑄造模具）？模具結構考慮因素湯餅，湯道，澆道，澆口，產品，真空澆道頭，鑄孔，渣包，優化模具設計。「FLOW3D鑄造仿真」「壓鑄模具」「鑄造模具」「鑄造模具設計優化」
「FLOW3D鑄造仿真」鑄造方案
優化鑄造方案，提前發現鑄造缺陷，優化澆道設計（進澆截面積、型腔內部速度）、排氣設計、渣包設計、冷卻設計（防止產品變型）、滑塊方案。「鑄造方案」「排氣」「渣包」「冷卻」
如何從鑄造原理出發，通過仿真分析優化鑄造方案？工藝因素帕斯卡原理、伯努利定理、壓鑄機結構、壓鑄機、壓鑄的射出過程、高速低速、充填時間、鑄造壓力、射出波形。
展開 科學家開發出能夠檢測水分變化的3D打印塑料復合傳感器
由馬德里自治大學（UAM）的Pilar Amo-Ochoa領導的西班牙 、以色列科學家團隊開發了一種多功能3D打印塑料復合傳感器，能夠檢測微量水。 3D可打印材料無毒，在潮濕條件下顏色從紫色變為藍色。
“了解特定環境或材料中存在多少水是很重要的。”DESY科學家Michael Wharmby解釋說。 “例如，如果油中含有過多的水，則可能無法很好地潤滑機器，如果燃油中含有過多的水，則可能無法正常燃燒。”
科學家的新型傳感器材料是一種所謂的銅基配位聚合物，一種水分子與中心銅原子結合的化合物。他們使用Deutsches Elektronen-Synchrotron（DESY）光源PETRA III來分析加熱時材料的變化。 “將化合物加熱到60攝氏度時，顏色從藍色變為紫色。”Pilar Amo-Ochoa報道。將材料加熱至60℃，除去與銅原子結合的水分子，最終引起顏色變化。 “這種變化可以通過將其置于空氣中，將其置于水中，或將其置于含有微量水的溶劑中來逆轉。”
“在理解了這一點之后，我們能夠對這種變化的物理模型進行建模。”馬德里材料科學研究所（ICMM-CSIC）的JoséIgnacioMartínez解釋道。然后科學家們將銅化合物混合成3D打印墨水，并在幾種不同的形狀下印刷傳感器，這些傳感器在空氣和水中進行測試。這些測試表明，3D打印物體對水的存在比對化合物本身更敏感。在溶劑中，印刷傳感器可在不到兩分鐘的時間內檢測到0.3％至4％的水。
如果在無水溶劑中干燥或通過加熱干燥，則材料變回紫色。詳細的調查表明，即使在許多加熱循環中材料也是穩定的，并且銅化合物均勻地分布在整個印刷傳感器中。此外，該材料在空氣中在至少一年內是穩定的，并且在生物相關的pH范圍內也是5至7。
展開 低延遲高精度 地平線頂尖自動駕駛算法實力解析｜Waymo自動駕駛算法挑戰賽
在這個背景下，地平線團隊的算法連續兩年取得3D物體檢測任務的第一名，證明了其團隊在3D物體檢測這個賽道上世界領先的實力，以及強大的技術和工程能力。此外，地平線此次參賽的方案中融合了很多目前最前沿的物體檢測技術，以及很多精巧的構思和設計，個人認為非常值得相關領域的研究者進行進一步的思考，也會對自動駕駛感知算法的研究起到非常大的推動作用。自動駕駛技術的研究以及應用還有很長的路要走，還有很多關鍵問題亟待解決，期望未來會有更多的研究機構參與其中，推出更加精準和高效的感知算法，以推動自動駕駛技術給人們的出行帶來更多的安全和便捷。
展開 硬核真相 —— 一次看完港科大RAM-LAB實驗室今年ICRA的15篇論文都寫了哪些無人駕駛的黑科技
作者在公開數據集KITTI上測試得到行業頂尖的結果(發布時為單目3D視覺檢測第一名)。對視覺3D檢測輸出結構的成果直接運用到單目深度估計網絡中，在KITTI對應的排行榜中依然能得到行業頂尖的結果。
代碼已開源
。
10、YOLOStereo3D: A Step Back to 2D for Efficient Stereo 3D Detection
KITTI數據集上雙目3D檢測最快的算法
雙目3D檢測長期依賴于全局或局部的雙目匹配產生的點云，這也限制了檢測算法運行的速度，目前頂尖的雙目3D檢測網絡在最頂尖的網絡中仍然需要接近400 ms。
本文提出YOLOStereo3D，僅使用輕量的雙目融合特征以及類似于單目視覺檢測的網絡輸出結構作為基準；本文進一步提出層級式的特征融合網絡結構以增強獲取的雙目融合特征。
作者在公開數據集KITTI上測試得到行業頂尖的結果，運行速度與其他頂尖結果相比快數倍。作者對視覺3D檢測輸出結構的成果直接運用到單目3D結果上時同樣能取得同類問題中行業頂尖的結果。
代碼已開源
。
11、AVGCN: Trajectory Prediction using Graph Convolutional Networks Guided by Human Attention
首個基于人類視覺注意力模型的軌跡預測算法
行人軌跡預測尤其是擁擠場景下的行人軌跡預測是一項重要而又充滿挑戰的任務。作者建議，引入注意力機制來推斷不同鄰居的重要性對于在人群數量變化的場景中進行精確的軌跡預測至關重要。
展開 