3D檢測(cè)
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2026-01-05
3D檢測(cè)的視頻教程
電磁檢測(cè)與仿真系列課-05-Comsol 2D、3D電感式磨粒傳感器仿真
傳感器工作原理，線圈檢測(cè)原理 2. 2D\3D模型參數(shù)化建模處理 3. 2D動(dòng)網(wǎng)格仿真設(shè)置及求解器設(shè)置 4. 2D仿真提取感應(yīng)線圈完整載波和包絡(luò)信號(hào) 5. 3D仿真設(shè)置及微小顆粒網(wǎng)格剖分 6. 3D仿真噪聲的去除及提取感應(yīng)電動(dòng)勢(shì)信號(hào)
￥300 56分鐘 69播放
查看
3D檢測(cè)的實(shí)例教程
來源 | CV研習(xí)社
導(dǎo)讀：3D目標(biāo)檢測(cè)的主要應(yīng)用場(chǎng)景就是自動(dòng)駕駛，雖然現(xiàn)階段基于點(diǎn)云的3D目標(biāo)檢測(cè)的方法的性能不斷提升，但相比于激光雷達(dá)高昂的造價(jià)以及在復(fù)雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標(biāo)檢測(cè)逐漸成為了研究熱點(diǎn)。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來學(xué)習(xí)一下吧。
Part 01 3D目標(biāo)檢測(cè)應(yīng)用背景
3D目標(biāo)檢測(cè)目前應(yīng)用的主要場(chǎng)景就是自動(dòng)駕駛，汽車在行駛過程中，需要時(shí)刻感知周圍的環(huán)境，并及時(shí)獲取障礙物的3維信息。3維信息的獲取通常會(huì)依靠3D傳感器，如激光雷達(dá)，雙目相機(jī)等，但此類傳感器成本通常較高。低成本的方案是通過單目相機(jī)結(jié)合深度估計(jì)的方式，目前該方案也在大力發(fā)展中。3D目標(biāo)檢測(cè)所使用的數(shù)據(jù)集大部分也就是自動(dòng)駕駛數(shù)據(jù)集，類別主要是車輛和行人。通過3D目標(biāo)檢測(cè)算法，可以給出障礙物的3D bbox，可以精準(zhǔn)的判斷物體的位置和朝向，將該信息提供給規(guī)劃模塊，就可以對(duì)車輛的行駛路線進(jìn)行合理的規(guī)劃。
展開 編者按：3D物體檢測(cè)（目標(biāo)檢測(cè)）是智能汽車感知系統(tǒng)的重要任務(wù)。在眾多應(yīng)用于智能汽車的傳感器中，相機(jī)這一視覺傳感器具有分辨率高、成本較低、部署方便等優(yōu)點(diǎn)。基于相機(jī)RGB圖像的低成本3D物體檢測(cè)是當(dāng)下學(xué)界和工業(yè)界的研究熱點(diǎn)。其中，相比多目視覺3D物體檢測(cè)，單目視覺3D物體檢測(cè)是更為基礎(chǔ)的問題，其難點(diǎn)在于估計(jì)物體的距離。本文將6DoF位姿估計(jì)領(lǐng)域常用的稠密關(guān)聯(lián)方法應(yīng)用到了交通場(chǎng)景的單目3D物體檢測(cè)，并引入了不確定性傳播，可以描述物體位置的不確定性。針對(duì)深度回歸問題中偶然不確定性的估計(jì)，本文提出了魯棒KL損失，顯著提升了檢測(cè)精度，對(duì)于一般的不確定性估計(jì)網(wǎng)絡(luò)有借鑒價(jià)值。
摘要：
單目視覺3D物體檢測(cè)的主要難點(diǎn)在于物體在3D空間中的定位。近年關(guān)于6DoF位姿估計(jì)的研究表明，預(yù)測(cè)圖像與物體3D模型之間的2D-3D稠密關(guān)聯(lián)（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓(xùn)練均依賴物體的3D模型真值，這一條件在真實(shí)的室外場(chǎng)景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測(cè)算法，以自監(jiān)督的形式學(xué)習(xí)稠密關(guān)聯(lián)和物體幾何，這一過程中僅需用到物體的3D框標(biāo)注。本文使用基于不確定性的區(qū)域重建網(wǎng)絡(luò)回歸與2D像素相關(guān)聯(lián)的3D坐標(biāo)。自監(jiān)督訓(xùn)練是指將3D坐標(biāo)重投影以重構(gòu)圖像的2D坐標(biāo)。為優(yōu)化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測(cè)試階段，網(wǎng)絡(luò)預(yù)測(cè)的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計(jì)物體的位姿及其協(xié)方差。
展開 4.3 結(jié)合 RGB 圖像與點(diǎn)云的目標(biāo)檢測(cè)
Frustum PointNets [36] 同時(shí)使用 RGB 圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)來執(zhí)行 3D 目標(biāo)檢測(cè)。該算法使用成熟的 2D 目標(biāo)檢測(cè)器來縮小搜索空間。它是通過從圖像檢測(cè)器得到的 2D 邊界框來提取 3D 邊界視錐，然后再在經(jīng)過 3D 視錐修整過的 3D 空間中執(zhí)行 3D 目標(biāo)實(shí)例分割。
MV3D [37] 也同時(shí)使用 RGB 圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)作為輸入，它是將 3D 點(diǎn)云投影成鳥瞰圖和正視圖。鳥瞰圖表征是通過高度、強(qiáng)度和密度編碼的，而正視圖則是將點(diǎn)云投影到一個(gè)圓柱面上生成的。鳥瞰圖可用于生成 3D 先驗(yàn)邊界框，然后將該 3D 先驗(yàn)邊界框投影到前視圖和圖像上，這三個(gè)輸入生成一個(gè)特征圖。該方法采用 ROI 池化來將三個(gè)特征圖整合到同一個(gè)維度。整合后的數(shù)據(jù)再在網(wǎng)絡(luò)上進(jìn)行融合，然后輸出分類結(jié)果和邊界框。
圖 4：使用 MV3D 的目標(biāo)檢測(cè)示例
展開 隨著人工智能算法的不斷推進(jìn)，更多的研究者將目光聚焦到了3D任務(wù)，那么在3D視覺任務(wù)中，2D卷積神經(jīng)網(wǎng)絡(luò)的神話能否延續(xù)呢？答案是肯定的！今天小編將分享一篇3D點(diǎn)云檢測(cè)論文—Pointpillars，看看作者如何巧妙的只使用2D卷積，卻實(shí)現(xiàn)了高效的3D目標(biāo)檢測(cè)。
01 3D點(diǎn)云檢測(cè)的現(xiàn)狀如何
最近幾年點(diǎn)云的三維目標(biāo)檢測(cè)一直很火，從早期的PointNet、PointNet++，到體素網(wǎng)格的VoxelNet，后來大家覺得三維卷積過于耗時(shí)，又推出了Complex-yolo等模型把點(diǎn)云投影到二維平面，用圖像的方法做目標(biāo)檢測(cè)，從而加速網(wǎng)絡(luò)推理。
所以在點(diǎn)云上實(shí)現(xiàn)3D目標(biāo)檢測(cè)通常就是這三種做法：3D卷積、投影到前視圖或者鳥瞰圖（Bev）。
3D卷積的缺點(diǎn)是計(jì)算量較大，導(dǎo)致網(wǎng)絡(luò)的推理速度較慢。投影的方式受到點(diǎn)云的稀疏性的限制，使得卷積無法較好的提取特征，效率低下。而后來研究熱點(diǎn)轉(zhuǎn)向了采用鳥瞰圖（Bev）的方式，但存在的明顯的缺點(diǎn)就是需要手動(dòng)提取特征，不利于推廣到其他的雷達(dá)上使用。
撥開那些花里胡哨的網(wǎng)絡(luò)，有什么更靠譜的模型能夠權(quán)衡速度和精度做三維目標(biāo)檢測(cè)呢？
02橫空殺出的PointPillars
這是一篇前兩年的點(diǎn)云目標(biāo)檢測(cè)網(wǎng)絡(luò)，為什么重溫它是因?yàn)樾【幵趯W(xué)習(xí)百度Apollo 6.0時(shí)發(fā)現(xiàn)它被集成進(jìn)去作為激光雷達(dá)的檢測(cè)模型了。在這里給大家解析一下該網(wǎng)絡(luò)模型，看看有啥特點(diǎn)！
Pointpillars的創(chuàng)新點(diǎn)在于：提出了一種新的編碼方式，利用柱狀物的方式生成偽圖像。
展開 LiDAR 的輸出數(shù)據(jù)是 3D 點(diǎn)云，每一個(gè)點(diǎn)除了包含 X，Y，Z 坐標(biāo)，還包含一個(gè)反射強(qiáng)度 R，類似與毫米波雷達(dá)里的 RCS。3D 物體檢測(cè)的目標(biāo)是要根據(jù)點(diǎn)云數(shù)據(jù)來找到場(chǎng)景中所有感興趣的物體，比如自動(dòng)駕駛場(chǎng)景中的車輛，行人，靜態(tài)障礙物等等。
下圖以車輛為例，來說明輸出結(jié)果的格式。簡(jiǎn)單來說，檢測(cè)算法輸出多個(gè) 3D 矩形框（術(shù)語稱為 3D BoundingBox，簡(jiǎn)稱 3D BBox），每個(gè)框?qū)?yīng)一個(gè)場(chǎng)景中的物體。3D BBox 可以有多種表示方法，一般最常用的就是用中心點(diǎn) 3D 坐標(biāo)，長(zhǎng)寬高，以及 3D 旋轉(zhuǎn)角度來表示（簡(jiǎn)單一些的話可以只考慮平面內(nèi)旋轉(zhuǎn)，也就是下圖中的 θ）。
檢測(cè)算法輸出的 3D BBox 與人工標(biāo)注的數(shù)據(jù)進(jìn)行對(duì)比，一般采用 3D IoU （Intersection over Unoin）來衡量?jī)蓚€(gè) BBox 重合的程度，高于設(shè)定的閾值就被認(rèn)為是一個(gè)成功的檢測(cè)，反之則認(rèn)為物體沒有被檢測(cè)到（False Negative）。如果在沒有物體的區(qū)域出現(xiàn)了 BBox 輸出，則被認(rèn)為是一個(gè)誤檢（False Positive）。評(píng)測(cè)算法會(huì)同時(shí)考慮這兩個(gè)指標(biāo)，給出一個(gè)綜合的分?jǐn)?shù)，比如 AP（Average Precision）以此為標(biāo)準(zhǔn)來評(píng)價(jià)算法的優(yōu)劣。由于不是本文的重點(diǎn)，具體的細(xì)節(jié)這里就不做贅述了。
基于 LiDAR 點(diǎn)云的 3D 物體檢測(cè)示意圖
萌芽期 （2017 年之前）
有了前面的鋪墊，下面我們的算法之旅正式開始了。
展開 
3D檢測(cè)的相關(guān)專題、標(biāo)簽、搜索
3D檢測(cè)的最新內(nèi)容
如何做好全自動(dòng)化ADAS 高精度標(biāo)注？4個(gè)月前
最后，Auto Annotator 通過結(jié)合多模態(tài) 3D 目標(biāo)檢測(cè)網(wǎng)絡(luò)、圖像與點(diǎn)云分割網(wǎng)絡(luò)以及一套計(jì)算幾何和追蹤算法的輸出，基于聚合點(diǎn)云構(gòu)建一個(gè)時(shí)間上連貫（Temporally Coherent）的世界模型。
這些組件共同構(gòu)成了 Auto Annotator 流水線的骨架，最終輸出可直接用于模型訓(xùn)練或驗(yàn)證的高質(zhì)量標(biāo)注數(shù)據(jù)。
檢測(cè)、分析設(shè)備/軟件、合約分析服務(wù)。
通過模擬單目 3D 目標(biāo)檢測(cè)邏輯，對(duì)重建場(chǎng)景中車輛、行人等目標(biāo)的深度、位置、尺寸進(jìn)行校驗(yàn)。利用算法的深度等變性（對(duì)投影流形中深度平移 tz 的精準(zhǔn)約束），驗(yàn)證 3D 高斯場(chǎng)景中目標(biāo)的幾何參數(shù)是否與真實(shí)場(chǎng)景一致，避免因深度估計(jì)偏差導(dǎo)致目標(biāo)漂移或變形。
驗(yàn)證結(jié)果表明，該模型能夠成功檢測(cè)出由重建模型和基于網(wǎng)格的渲染引擎所渲染的車輛，這說明未引入明顯的領(lǐng)域差距。
檢測(cè)自動(dòng)化、智能化是智能檢測(cè)飛速發(fā)展的熱門話題，Geomagic Control X 作為一款自動(dòng)化3D檢測(cè)平臺(tái)，始終致力于將復(fù)雜的檢測(cè)流程化繁為簡(jiǎn)。它完美兼容各類主流測(cè)量設(shè)備與CAD數(shù)據(jù)格式，幫助您將重復(fù)性工作自動(dòng)化，并快速生成清晰、專業(yè)的檢測(cè)報(bào)告，為企業(yè)降本增效提供核心驅(qū)動(dòng)力。
Control X則是一款3D檢測(cè)和計(jì)量軟件，可以捕獲并自動(dòng)處理來自3D掃描儀和其他設(shè)備的數(shù)據(jù)。測(cè)量、理解和傳達(dá)檢測(cè)結(jié)果，幾乎無需人工交互。
本期新上線的應(yīng)用課程，涵蓋三維逆向建模軟件培訓(xùn)、歷屆國賽逆向模塊案例講解、三維逆向建模軟件功能詳解、Control X 檢測(cè)自動(dòng)化檢測(cè)方式、Control X 自動(dòng)化三維檢測(cè)軟件培訓(xùn)。趕緊來看看哪一門能幫到你吧！
在aiSim中重建Waymo場(chǎng)景
2、進(jìn)一步消除 Domain gap，場(chǎng)景逼真如實(shí)地拍攝
通過DEVIANT算法驗(yàn)證3D目標(biāo)檢測(cè)精度、Mask2Former測(cè)量像素一致性等方式，驗(yàn)證了神經(jīng)重建場(chǎng)景在多攝像頭視角下的高可用性與仿真一致性。
品質(zhì)保障體系：
3D檢測(cè)報(bào)告與DFM分析，杜絕缺陷風(fēng)險(xiǎn)。
結(jié)語
掌握鋁材切割技術(shù)需要融合先進(jìn)工藝、材料認(rèn)知與可信賴的金屬切割服務(wù)。深圳一鑫精密憑借CNC銑削、激光切割等定制化方案，賦能制造商實(shí)現(xiàn)高效生產(chǎn)、成本優(yōu)化與卓越品質(zhì)。
品質(zhì)保障體系：
3D檢測(cè)報(bào)告與DFM分析，杜絕缺陷風(fēng)險(xiǎn)。
結(jié)語
掌握鋁材切割技術(shù)需要融合先進(jìn)工藝、材料認(rèn)知與可信賴的金屬切割服務(wù)。深圳一鑫精密憑借CNC銑削、激光切割等定制化方案，賦能制造商實(shí)現(xiàn)高效生產(chǎn)、成本優(yōu)化與卓越品質(zhì)。
性能指標(biāo)相關(guān)
1、白光干涉儀的分辨率有多高：白光干涉儀的垂直分辨率可以達(dá)到0.1nm，在3D檢測(cè)領(lǐng)域具有較高的精度，在同等系統(tǒng)放大倍率下檢測(cè)精度和重復(fù)精度通常高于共聚焦顯微鏡和聚焦成像顯微鏡。
2、測(cè)量范圍是多少：表面高度測(cè)量范圍一般為1nm至200μm，但不同型號(hào)的儀器可能會(huì)有所差異。
注：如果 Moldex3D 檢測(cè)出倒勾特征（基于壁角），此結(jié)果項(xiàng)將會(huì)被切換至 流動(dòng)熔膠區(qū)(Melt Zone) 以獲取在成型周期中溶膠顯示和消失的行為。
充填 / 保壓 壓力(Fill\Packing Pressure)
當(dāng)前模穴壓力分布以不同的顏色顯示。根據(jù)壓降和分布，使用者可以修改塑件預(yù)填料和模具設(shè)計(jì)。
