3D目標標注的案例
3D目標檢測綜述：從數據集到2D和3D方法
nuScenes 數據集來自 nuTonomy，是一個大規模自動駕駛數據集，其中的數據進行了 3D 目標標注。與其它很多數據集相比，nuScenes 數據集不僅規模更大，目標標注更多，而且還提供了整套傳感器套件，包括激光雷達、聲波雷達、GPS 和 IMU。圖 1 展示了 nuScenes 中一個激光雷達點云的示例。
圖 1：nuScenes 中的激光雷達點云示例。
2.2 預處理
盡管數據集中的圖像質量很高，但在實際應用中，天氣等因素都可能影響圖像的質量，并因此降低檢測準確率。近期提出的一些用于交通場景的去霧算法可以解決這類問題。比如 [8] 提出了一種基于伽馬校正和引導濾波的去霧算法：先使用伽馬校正方法在去霧之前校正圖像，然后再在校正后圖像上執行三種不同尺度的引導濾波過程，過濾后的圖像再使用 Retinex 模型修改，最后使用加權融合得到去霧的結果。通過此方法得到的去霧圖像具有更高的對比度和顏色一致性。
Wang [9] 重點研究了如何解決霧濃度分布不均的問題。根據波長與霧濃度的關系，他們針對交通監控圖像構建了一個與波長相關的物理成像模型。然后，再根據波長與顏色的相關性，他們又基于最大模糊相關圖切割設計了一種透射率估計算法。
除了提升圖像質量之外，人們也常使用相機校準來確定圖像在 3D 空間中的位置。盡管相機校準這一問題已得到廣泛研究，但大多數校準方法都會固定相機位置并使用某個已知的校準模式。
展開 場景采集感知測評軟件 INTEWORK-ARS
動態目標檢測
靜態場景檢測
可行駛區域檢測
相機雷達融合目標檢測
統一數據集
全局信息輸出
激光雷達3D目標標注模塊
激光雷達3D目標標注模塊可以加載預標注標簽，對目標信息進行交互式增刪改查，生成標簽數據，用于使用者后續的訓練、測試、測評等需求。
顯示目標及屬性
視角選擇
自動關聯標注
點云可視化操作
便捷式人機交互操作
傳感器目標感知能力測評模塊
該模塊可對待測傳感器的目標檢測和跟蹤能力進行快速測評，獲得能力指標，滿足使用者在產品對標、性能驗證等環節的工具需求。
目標檢測能力
多目標跟蹤能力
目標匹配結果
目標屬性誤差
場景生成模塊
將實車采集的智能駕駛場景數據，快速生成OpenScenario和OpenDrive文件，滿足使用者后續的仿真應用需求。
在近年的工程應用中，經緯恒潤的相關產品已經在國內眾多整車廠及智能駕駛開發團隊的項目應用中得到了實踐檢驗。經緯恒潤歡迎廣大開發者一起參與到相關產品和技術的開發應用過程中，繼續為汽車電子開發貢獻一份力量。
展開 DD3D:基于預訓練的單目3D目標檢測
來源 | CV研習社
導讀：3D目標檢測的主要應用場景就是自動駕駛，雖然現階段基于點云的3D目標檢測的方法的性能不斷提升，但相比于激光雷達高昂的造價以及在復雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標檢測逐漸成為了研究熱點。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed for Monocular 3D Object detection的文章，文中提出了DD3D的方法，讓我們一起來學習一下吧。
Part 01 3D目標檢測應用背景
3D目標檢測目前應用的主要場景就是自動駕駛，汽車在行駛過程中，需要時刻感知周圍的環境，并及時獲取障礙物的3維信息。3維信息的獲取通常會依靠3D傳感器，如激光雷達，雙目相機等，但此類傳感器成本通常較高。低成本的方案是通過單目相機結合深度估計的方式，目前該方案也在大力發展中。3D目標檢測所使用的數據集大部分也就是自動駕駛數據集，類別主要是車輛和行人。通過3D目標檢測算法，可以給出障礙物的3D bbox，可以精準的判斷物體的位置和朝向，將該信息提供給規劃模塊，就可以對車輛的行駛路線進行合理的規劃。
展開 自帶尺寸標注的3D預覽為制造商組件提供更強勁的客戶體驗
工業組件制造商通過將尺寸直接嵌入到3D產品預覽中，從而簡化了查找、配置、選型和購買產品的過程。此功能可幫助工程師快速確定產品的規格，以及螺栓間距、軸尺寸、內徑 （ID）、外徑 （OD） 等關鍵尺寸。通過這種方式，制造商讓工程師在第一時間就能找到合適的產品，并提供準確清晰的信息。
過去，工程師用自制件和外購件進行設計，卻需要花費數小時先研究產品，然后下載其CAD模型并進行適應性測試，工作往往會很繁瑣且耗時。
現在，通過在您網站上的交互式3D預覽中顯示關鍵尺寸，工程師可以在下載和購買前配置他們需要的零件，并可三維預覽其模型，從而讓他們可以在您網站上直接生成可查看和可操作的準確的數字化產品。從鑄造機頂板上的簡單螺栓圖案到電磁閥的設計細節，實際尺寸的三維預覽可以幫助客戶快速搜索、下載、確定和訂購所需的確切產品。這就像試駕汽車一樣，一旦顧客試駕滿意，購買這輛車的機率就會成倍增加。CADENAS提供的三維尺寸預覽減少了工程師確定所查看的產品尺寸是否適合其項目的時間。
使用eCATALOGsolutions帶有尺寸標注三維預覽的幾個制造商示例：
1、美國科順集團（Colson Group USA）是世界上最大的腳輪制造商，在其在線產品頁面以及移動應用程序中提供帶有尺寸標注的3D預覽。
美國科順集團數字營銷經理Mike Kromer強調：“有時候，在項目中實時預覽新的腳輪產品是很難做到的，而帶有尺寸標準的三維預覽不但突破了這點，而且還讓預覽變得栩栩如生。我們的客戶現在可以輕松地通過Colson Caster CAD三維應用程序獲取我們的產品，并直接運用到他們的項目中。”
展開 
PointPillar：利用偽圖像高效實現3D目標檢測
隨著人工智能算法的不斷推進，更多的研究者將目光聚焦到了3D任務，那么在3D視覺任務中，2D卷積神經網絡的神話能否延續呢？答案是肯定的！今天小編將分享一篇3D點云檢測論文—Pointpillars，看看作者如何巧妙的只使用2D卷積，卻實現了高效的3D目標檢測。
01 3D點云檢測的現狀如何
最近幾年點云的三維目標檢測一直很火，從早期的PointNet、PointNet++，到體素網格的VoxelNet，后來大家覺得三維卷積過于耗時，又推出了Complex-yolo等模型把點云投影到二維平面，用圖像的方法做目標檢測，從而加速網絡推理。
所以在點云上實現3D目標檢測通常就是這三種做法：3D卷積、投影到前視圖或者鳥瞰圖（Bev）。
3D卷積的缺點是計算量較大，導致網絡的推理速度較慢。投影的方式受到點云的稀疏性的限制，使得卷積無法較好的提取特征，效率低下。而后來研究熱點轉向了采用鳥瞰圖（Bev）的方式，但存在的明顯的缺點就是需要手動提取特征，不利于推廣到其他的雷達上使用。
撥開那些花里胡哨的網絡，有什么更靠譜的模型能夠權衡速度和精度做三維目標檢測呢？
02橫空殺出的PointPillars
這是一篇前兩年的點云目標檢測網絡，為什么重溫它是因為小編在學習百度Apollo 6.0時發現它被集成進去作為激光雷達的檢測模型了。在這里給大家解析一下該網絡模型，看看有啥特點！
Pointpillars的創新點在于：提出了一種新的編碼方式，利用柱狀物的方式生成偽圖像。
展開 近期激光雷達點云的3D目標檢測方法
作者 | 黃浴@知乎
編輯 | 3D視覺工坊
來源 | https://zhuanlan.zhihu.com/p/370650927
知圈 | 進“激光雷達社群”請加微信13636581676，備注激光
看到的一些近期激光雷達做目標檢測的論文。
1 Offboard 3D Object Detection from Point Cloud Sequences, 3, 2021.
這是講自動標注。
3D Auto Labeling pipeline
static object auto labeling
dynamic object auto labeling
2 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud, 3, 2021.
預測前景點的空間形狀，提取結構信息。
Spatial Information Enhancement Network (SIENet)
Network architecture of the HP（hybrid paradigm）-RPN
3 Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds, 4, 2021.
展開 3D打印批量生產鋰電池！黑石工廠目標產能10GWh
詳情請參考：突破性3D打印固態電池！黑石磷酸鋰鐵陰極技術無需鈷或鎳。
爭取10GWh產能
據悉，Blackstone Technology已將初始目標年產能設定為500 MWh，預計將在2022年底前完成目標。盡管尚未確定時間表，但增長計劃的第二階段目標是每年5GWh，第三階段最終目標是超過10GWh。
△3D打印固態電池生產工作流程
根據Blackstone Technology的董事總經理Holger Gritzka的說法，該公司的長期目標是按秒生產電池。“通過一個機器園區，可以快速、準確地打印出不同形狀、不同電極和電解質材料的電池，大規模且具有成本效益。”為實現這一目標，該公司將在2022年將D?beln員工人數從14人擴大到38人，并從萊比錫、開姆尼茨和德累斯頓等鄰近城市招募員工。
△5x5平方厘米的袋式電池，帶有發光二極管
此外，Blackstone已經在與合作伙伴Liovolt（一家總部位于德國的能源公司）合作開發雙極電池。這使得鋰電池將包括多個串聯連接的堆疊電極，其中陰極和陽極材料將放置在公共電極載體上。Blackstone Resources的CMO Serhat Yilmaz表示，公司的下一步是與合作伙伴ecovolta一起開發電池系統，并且與Voith SE和Orten Electric Trucks合作。目標是為電動巴士配備電池技術。
3D打印電池領域正在發展
儲能設備3D打印技術方面很大程度上是一個利基領域，大部分工作仍處于研究階段。在2021年10月份，瑞士聯邦材料科學與技術實驗室 (EMPA) 的研究人員使用3D打印制造了一種可持續的新型超級電容器。
展開 3D目標檢測/點云/遙感數據集匯總
NYU Depth V2 dataset
關于RGBD 圖像場景理解的數據庫
提供1449張深度圖片和他們的密集2d點類標注
鏈接：
https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
23. DTU dataset
關于3D場景的數據集，有124個場景，每場景有49/64個位置的RGB圖像和結構光標注
鏈接：
http://roboimagedata.compute.dtu.dk/?page_id=36
24. 普林斯度視覺和機器人實驗室數據集
這一實驗室提供17個三維視覺的數據集，除了上面提到的ShapeNet和SUN3D外，還有：
SUN RGB-D數據集，包含了室內場景分類、語義分割、房間布置和物體朝向等標注，其中有 10,000 張RGB-D 圖像, 標注包含 146,617 2D 個多邊形和 58,657 3D 個框。
SUN GC數據集包含了45k個手工創造的三維室內場景，包含了深度信息和每個物體的語義標簽。
此外還有Matterport3D室內rgbd數據集
這是一個大型RGB-D數據集，包含來自90個建筑規模場景的194,400個RGB-D圖像的10,800個全景。批注提供了表面重建，相機姿勢以及2D和3D語義分割。
展開 如何閉環自動駕駛仿真場景，實現從“重建”到“可用”？
同時，3D 高斯點能夠捕捉場景中的每一處細節，實現高精度的三維重建，并且支持實時渲染。
然而，3DGS 并非十全十美。在面對極為復雜的三維場景時，為了精準還原每一處細節，可能需要海量的高斯點，這無疑會顯著增加計算負擔與內存消耗。并且，當前 3DGS 的應用主要集中于靜態場景的重建，如何高效且精準地處理動態場景中的物體變化，使其能夠實時、準確地反映動態物體的位置、形狀及運動軌跡等信息，仍然是擺在科研人員與工程師面前的一道技術難題。
三、基于 aiSim 的 3DGS 方案全流程
1、原始數據輸入與標準化
以多源傳感器采集為起點，通過相機、激光雷達、自車運動傳感器捕獲真實道路的圖像、點云、位姿數據。針對這些數據格式、精度、時間戳異構的問題，aiData 工具鏈通過標準化算法將第三方數據轉換為統一格式，從而確保點云、圖像、標定信息協同工作，確保后續處理工作正確運行。
2、3D 場景預處理
（1）3D 自動標注：在 aiData 工具鏈里，3D 自動標注依托多模態數據與算法流程實現。圖像、點云、毫米波作為多維度輸入，經核心算法模塊 Super MS2N 整合各模態特征，精準識別 3D 目標并生成標注框，明確目標邊界與類別，接著借 “非因果追蹤” 模塊跨幀關聯、優化軌跡，修正標注誤差，最終輸出高精度 GT 數據，為 3DGS 場景賦予準確語義關聯。
（2）2D 語義分割：針對圖像數據做語義分割，輸出分割標注，輔助 3D 場景的細節優化。
（3）相機位姿優化：校準、優化傳感器采集的位姿數據，確保 3D 重建時空間坐標的準確性，輸出精準位姿信息。
展開 