3D目標(biāo)標(biāo)注
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2026-01-12
3D目標(biāo)標(biāo)注的實(shí)例教程
nuScenes 數(shù)據(jù)集來(lái)自 nuTonomy，是一個(gè)大規(guī)模自動(dòng)駕駛數(shù)據(jù)集，其中的數(shù)據(jù)進(jìn)行了 3D 目標(biāo)標(biāo)注。與其它很多數(shù)據(jù)集相比，nuScenes 數(shù)據(jù)集不僅規(guī)模更大，目標(biāo)標(biāo)注更多，而且還提供了整套傳感器套件，包括激光雷達(dá)、聲波雷達(dá)、GPS 和 IMU。圖 1 展示了 nuScenes 中一個(gè)激光雷達(dá)點(diǎn)云的示例。
圖 1：nuScenes 中的激光雷達(dá)點(diǎn)云示例。
2.2 預(yù)處理
盡管數(shù)據(jù)集中的圖像質(zhì)量很高，但在實(shí)際應(yīng)用中，天氣等因素都可能影響圖像的質(zhì)量，并因此降低檢測(cè)準(zhǔn)確率。近期提出的一些用于交通場(chǎng)景的去霧算法可以解決這類問(wèn)題。比如 [8] 提出了一種基于伽馬校正和引導(dǎo)濾波的去霧算法：先使用伽馬校正方法在去霧之前校正圖像，然后再在校正后圖像上執(zhí)行三種不同尺度的引導(dǎo)濾波過(guò)程，過(guò)濾后的圖像再使用 Retinex 模型修改，最后使用加權(quán)融合得到去霧的結(jié)果。通過(guò)此方法得到的去霧圖像具有更高的對(duì)比度和顏色一致性。
Wang [9] 重點(diǎn)研究了如何解決霧濃度分布不均的問(wèn)題。根據(jù)波長(zhǎng)與霧濃度的關(guān)系，他們針對(duì)交通監(jiān)控圖像構(gòu)建了一個(gè)與波長(zhǎng)相關(guān)的物理成像模型。然后，再根據(jù)波長(zhǎng)與顏色的相關(guān)性，他們又基于最大模糊相關(guān)圖切割設(shè)計(jì)了一種透射率估計(jì)算法。
除了提升圖像質(zhì)量之外，人們也常使用相機(jī)校準(zhǔn)來(lái)確定圖像在 3D 空間中的位置。盡管相機(jī)校準(zhǔn)這一問(wèn)題已得到廣泛研究，但大多數(shù)校準(zhǔn)方法都會(huì)固定相機(jī)位置并使用某個(gè)已知的校準(zhǔn)模式。
展開 動(dòng)態(tài)目標(biāo)檢測(cè)
靜態(tài)場(chǎng)景檢測(cè)
可行駛區(qū)域檢測(cè)
相機(jī)雷達(dá)融合目標(biāo)檢測(cè)
統(tǒng)一數(shù)據(jù)集
全局信息輸出
激光雷達(dá)3D目標(biāo)標(biāo)注模塊
激光雷達(dá)3D目標(biāo)標(biāo)注模塊可以加載預(yù)標(biāo)注標(biāo)簽，對(duì)目標(biāo)信息進(jìn)行交互式增刪改查，生成標(biāo)簽數(shù)據(jù)，用于使用者后續(xù)的訓(xùn)練、測(cè)試、測(cè)評(píng)等需求。
顯示目標(biāo)及屬性
視角選擇
自動(dòng)關(guān)聯(lián)標(biāo)注
點(diǎn)云可視化操作
便捷式人機(jī)交互操作
傳感器目標(biāo)感知能力測(cè)評(píng)模塊
該模塊可對(duì)待測(cè)傳感器的目標(biāo)檢測(cè)和跟蹤能力進(jìn)行快速測(cè)評(píng)，獲得能力指標(biāo)，滿足使用者在產(chǎn)品對(duì)標(biāo)、性能驗(yàn)證等環(huán)節(jié)的工具需求。
目標(biāo)檢測(cè)能力
多目標(biāo)跟蹤能力
目標(biāo)匹配結(jié)果
目標(biāo)屬性誤差
場(chǎng)景生成模塊
將實(shí)車采集的智能駕駛場(chǎng)景數(shù)據(jù)，快速生成OpenScenario和OpenDrive文件，滿足使用者后續(xù)的仿真應(yīng)用需求。
在近年的工程應(yīng)用中，經(jīng)緯恒潤(rùn)的相關(guān)產(chǎn)品已經(jīng)在國(guó)內(nèi)眾多整車廠及智能駕駛開發(fā)團(tuán)隊(duì)的項(xiàng)目應(yīng)用中得到了實(shí)踐檢驗(yàn)。經(jīng)緯恒潤(rùn)歡迎廣大開發(fā)者一起參與到相關(guān)產(chǎn)品和技術(shù)的開發(fā)應(yīng)用過(guò)程中，繼續(xù)為汽車電子開發(fā)貢獻(xiàn)一份力量。
展開 來(lái)源 | CV研習(xí)社
導(dǎo)讀：3D目標(biāo)檢測(cè)的主要應(yīng)用場(chǎng)景就是自動(dòng)駕駛，雖然現(xiàn)階段基于點(diǎn)云的3D目標(biāo)檢測(cè)的方法的性能不斷提升，但相比于激光雷達(dá)高昂的造價(jià)以及在復(fù)雜天氣情況下的敏感性。研究人員將目光投向了基于視覺(jué)的方案，因此單目3D目標(biāo)檢測(cè)逐漸成為了研究熱點(diǎn)。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來(lái)學(xué)習(xí)一下吧。
Part 01 3D目標(biāo)檢測(cè)應(yīng)用背景
3D目標(biāo)檢測(cè)目前應(yīng)用的主要場(chǎng)景就是自動(dòng)駕駛，汽車在行駛過(guò)程中，需要時(shí)刻感知周圍的環(huán)境，并及時(shí)獲取障礙物的3維信息。3維信息的獲取通常會(huì)依靠3D傳感器，如激光雷達(dá)，雙目相機(jī)等，但此類傳感器成本通常較高。低成本的方案是通過(guò)單目相機(jī)結(jié)合深度估計(jì)的方式，目前該方案也在大力發(fā)展中。3D目標(biāo)檢測(cè)所使用的數(shù)據(jù)集大部分也就是自動(dòng)駕駛數(shù)據(jù)集，類別主要是車輛和行人。通過(guò)3D目標(biāo)檢測(cè)算法，可以給出障礙物的3D bbox，可以精準(zhǔn)的判斷物體的位置和朝向，將該信息提供給規(guī)劃模塊，就可以對(duì)車輛的行駛路線進(jìn)行合理的規(guī)劃。
展開 工業(yè)組件制造商通過(guò)將尺寸直接嵌入到3D產(chǎn)品預(yù)覽中，從而簡(jiǎn)化了查找、配置、選型和購(gòu)買產(chǎn)品的過(guò)程。此功能可幫助工程師快速確定產(chǎn)品的規(guī)格，以及螺栓間距、軸尺寸、內(nèi)徑 （ID）、外徑 （OD） 等關(guān)鍵尺寸。通過(guò)這種方式，制造商讓工程師在第一時(shí)間就能找到合適的產(chǎn)品，并提供準(zhǔn)確清晰的信息。
過(guò)去，工程師用自制件和外購(gòu)件進(jìn)行設(shè)計(jì)，卻需要花費(fèi)數(shù)小時(shí)先研究產(chǎn)品，然后下載其CAD模型并進(jìn)行適應(yīng)性測(cè)試，工作往往會(huì)很繁瑣且耗時(shí)。
現(xiàn)在，通過(guò)在您網(wǎng)站上的交互式3D預(yù)覽中顯示關(guān)鍵尺寸，工程師可以在下載和購(gòu)買前配置他們需要的零件，并可三維預(yù)覽其模型，從而讓他們可以在您網(wǎng)站上直接生成可查看和可操作的準(zhǔn)確的數(shù)字化產(chǎn)品。從鑄造機(jī)頂板上的簡(jiǎn)單螺栓圖案到電磁閥的設(shè)計(jì)細(xì)節(jié)，實(shí)際尺寸的三維預(yù)覽可以幫助客戶快速搜索、下載、確定和訂購(gòu)所需的確切產(chǎn)品。這就像試駕汽車一樣，一旦顧客試駕滿意，購(gòu)買這輛車的機(jī)率就會(huì)成倍增加。CADENAS提供的三維尺寸預(yù)覽減少了工程師確定所查看的產(chǎn)品尺寸是否適合其項(xiàng)目的時(shí)間。
使用eCATALOGsolutions帶有尺寸標(biāo)注三維預(yù)覽的幾個(gè)制造商示例：
1、美國(guó)科順集團(tuán)（Colson Group USA）是世界上最大的腳輪制造商，在其在線產(chǎn)品頁(yè)面以及移動(dòng)應(yīng)用程序中提供帶有尺寸標(biāo)注的3D預(yù)覽。
美國(guó)科順集團(tuán)數(shù)字營(yíng)銷經(jīng)理Mike Kromer強(qiáng)調(diào)：“有時(shí)候，在項(xiàng)目中實(shí)時(shí)預(yù)覽新的腳輪產(chǎn)品是很難做到的，而帶有尺寸標(biāo)準(zhǔn)的三維預(yù)覽不但突破了這點(diǎn)，而且還讓預(yù)覽變得栩栩如生。我們的客戶現(xiàn)在可以輕松地通過(guò)Colson Caster CAD三維應(yīng)用程序獲取我們的產(chǎn)品，并直接運(yùn)用到他們的項(xiàng)目中。”
展開 隨著人工智能算法的不斷推進(jìn)，更多的研究者將目光聚焦到了3D任務(wù)，那么在3D視覺(jué)任務(wù)中，2D卷積神經(jīng)網(wǎng)絡(luò)的神話能否延續(xù)呢？答案是肯定的！今天小編將分享一篇3D點(diǎn)云檢測(cè)論文—Pointpillars，看看作者如何巧妙的只使用2D卷積，卻實(shí)現(xiàn)了高效的3D目標(biāo)檢測(cè)。
01 3D點(diǎn)云檢測(cè)的現(xiàn)狀如何
最近幾年點(diǎn)云的三維目標(biāo)檢測(cè)一直很火，從早期的PointNet、PointNet++，到體素網(wǎng)格的VoxelNet，后來(lái)大家覺(jué)得三維卷積過(guò)于耗時(shí)，又推出了Complex-yolo等模型把點(diǎn)云投影到二維平面，用圖像的方法做目標(biāo)檢測(cè)，從而加速網(wǎng)絡(luò)推理。
所以在點(diǎn)云上實(shí)現(xiàn)3D目標(biāo)檢測(cè)通常就是這三種做法：3D卷積、投影到前視圖或者鳥瞰圖（Bev）。
3D卷積的缺點(diǎn)是計(jì)算量較大，導(dǎo)致網(wǎng)絡(luò)的推理速度較慢。投影的方式受到點(diǎn)云的稀疏性的限制，使得卷積無(wú)法較好的提取特征，效率低下。而后來(lái)研究熱點(diǎn)轉(zhuǎn)向了采用鳥瞰圖（Bev）的方式，但存在的明顯的缺點(diǎn)就是需要手動(dòng)提取特征，不利于推廣到其他的雷達(dá)上使用。
撥開那些花里胡哨的網(wǎng)絡(luò)，有什么更靠譜的模型能夠權(quán)衡速度和精度做三維目標(biāo)檢測(cè)呢？
02橫空殺出的PointPillars
這是一篇前兩年的點(diǎn)云目標(biāo)檢測(cè)網(wǎng)絡(luò)，為什么重溫它是因?yàn)樾【幵趯W(xué)習(xí)百度Apollo 6.0時(shí)發(fā)現(xiàn)它被集成進(jìn)去作為激光雷達(dá)的檢測(cè)模型了。在這里給大家解析一下該網(wǎng)絡(luò)模型，看看有啥特點(diǎn)！
Pointpillars的創(chuàng)新點(diǎn)在于：提出了一種新的編碼方式，利用柱狀物的方式生成偽圖像。
展開 
3D目標(biāo)標(biāo)注的相關(guān)專題、標(biāo)簽、搜索
3D目標(biāo)標(biāo)注的最新內(nèi)容
圖像、點(diǎn)云、毫米波作為多維度輸入，經(jīng)核心算法模塊 Super MS2N 整合各模態(tài)特征，精準(zhǔn)識(shí)別 3D 目標(biāo)并生成標(biāo)注框，明確目標(biāo)邊界與類別，接著借 “非因果追蹤” 模塊跨幀關(guān)聯(lián)、優(yōu)化軌跡，修正標(biāo)注誤差，最終輸出高精度 GT 數(shù)據(jù)，為 3DGS 場(chǎng)景賦予準(zhǔn)確語(yǔ)義關(guān)聯(lián)。
（2）2D 語(yǔ)義分割：針對(duì)圖像數(shù)據(jù)做語(yǔ)義分割，輸出分割標(biāo)注，輔助 3D 場(chǎng)景的細(xì)節(jié)優(yōu)化。
工業(yè)組件制造商通過(guò)將尺寸直接嵌入到3D產(chǎn)品預(yù)覽中，從而簡(jiǎn)化了查找、配置、選型和購(gòu)買產(chǎn)品的過(guò)程。此功能可幫助工程師快速確定產(chǎn)品的規(guī)格，以及螺栓間距、軸尺寸、內(nèi)徑 （ID）、外徑 （OD） 等關(guān)鍵尺寸。通過(guò)這種方式，制造商讓工程師在第一時(shí)間就能找到合適的產(chǎn)品，并提供準(zhǔn)確清晰的信息。
過(guò)去，工程師用自制件和外購(gòu)件進(jìn)行設(shè)計(jì)，卻需要花費(fèi)數(shù)小時(shí)先研究產(chǎn)品，然后下載其
動(dòng)態(tài)目標(biāo)檢測(cè)
靜態(tài)場(chǎng)景檢測(cè)
可行駛區(qū)域檢測(cè)
相機(jī)雷達(dá)融合目標(biāo)檢測(cè)
統(tǒng)一數(shù)據(jù)集
全局信息輸出
激光雷達(dá)3D目標(biāo)標(biāo)注模塊
激光雷達(dá)3D目標(biāo)標(biāo)注模塊可以加載預(yù)標(biāo)注標(biāo)簽，對(duì)目標(biāo)信息進(jìn)行交互式增刪改查，生成標(biāo)簽數(shù)據(jù)，
來(lái)源 | CV研習(xí)社
導(dǎo)讀：3D目標(biāo)檢測(cè)的主要應(yīng)用場(chǎng)景就是自動(dòng)駕駛，雖然現(xiàn)階段基于點(diǎn)云的3D目標(biāo)檢測(cè)的方法的性能不斷提升，但相比于激光雷達(dá)高昂的造價(jià)以及在復(fù)雜天氣情況下的敏感性。研究人員將目光投向了基于視覺(jué)的方案，因此單目3D目標(biāo)檢測(cè)逐漸成為了研究熱點(diǎn)。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed
導(dǎo)讀：為了進(jìn)軍電動(dòng)汽車市場(chǎng)，黑石公司Blackstone Resources于2019年成立了德國(guó)研發(fā)子公司黑石科技。現(xiàn)在，這家公司宣布將大規(guī)模生產(chǎn)3D打印鋰電池。中國(guó)也出現(xiàn)了電池3D打印的公司，請(qǐng)關(guān)注。
南極熊獲悉，瑞士投資公司Blackstone Resources已宣布在位于德國(guó)D?beln的新制造工廠中批量生產(chǎn)3D打印電池。該公司在過(guò)去兩年中一直在開發(fā)和完善鋰電池3D打印技術(shù)
作者 | 維維@知乎
來(lái)源 | https://zhuanlan.zhihu.com/p/402128801
1. 點(diǎn)云分類(羅蒙諾索夫莫斯科國(guó)立大學(xué))
Legend: red — ground, black — building, navy — car, green — tree, cyan — low-vegetation
來(lái)源 | CV研習(xí)社
文章導(dǎo)讀
計(jì)算機(jī)視覺(jué)任務(wù)中，2D卷積神經(jīng)網(wǎng)絡(luò)得益于極其出色的性能不斷刷新著各大視覺(jué)任務(wù)的榜單，可謂是YYDS。隨著人工智能算法的不斷推進(jìn)，更多的研究者將目光聚焦到了3D任務(wù)，那么在3D視覺(jué)任務(wù)中，2D卷積神經(jīng)網(wǎng)絡(luò)的神話能否延續(xù)呢？答案是肯定的！今天小編將分享一篇3D點(diǎn)云檢測(cè)論文—Pointpillars，看看作者如何巧妙的只使用2D卷積，卻實(shí)現(xiàn)了高效的
nuScenes 數(shù)據(jù)集來(lái)自 nuTonomy，是一個(gè)大規(guī)模自動(dòng)駕駛數(shù)據(jù)集，其中的數(shù)據(jù)進(jìn)行了 3D 目標(biāo)標(biāo)注。與其它很多數(shù)據(jù)集相比，nuScenes 數(shù)據(jù)集不僅規(guī)模更大，目標(biāo)標(biāo)注更多，而且還提供了整套傳感器套件，包括激光雷達(dá)、聲波雷達(dá)、GPS 和 IMU。圖 1 展示了 nuScenes 中一個(gè)激光雷達(dá)點(diǎn)云的示例。
作者 | 黃浴@知乎
編輯 | 3D視覺(jué)工坊
來(lái)源 | https://zhuanlan.zhihu.com/p/370650927
知圈 | 進(jìn)“激光雷達(dá)社群”請(qǐng)加微信13636581676，備注激光
看到的一些近期激光雷達(dá)做目標(biāo)檢測(cè)的論文。
1 Offboard 3D Object Detection from Point Cloud Sequences
