激光雷達點云處理
關注創建者：匿名 創建時間：2026-01-04
激光雷達點云處理的實例教程
這部分會系統的介紹點云分割任務的常用數據庫和評測指標，并對上文提到的典型算法進行對比。點云數據庫按照不同的場景和不同的采集設備可以分為很多種類。這里只關注室外道路場景，面向自動駕駛應用，由車載LiDAR采集的點云數據庫，以及相關的算法對比。
5.1 數據庫
SemanticKITTI
KITTI是圖像和點云檢測領域最常用的數據庫之一。SemanticKITTI[16]將KITTI數據庫中Visual Odometry Benchmark中的所有LiDAR點云序列進行標注，是第一個大規模的面向自動駕駛場景的3D點云語義分割數據庫。
SemanticKITTI的點云數據是通過Velodyne64線激光雷達采集，共有22個序列，訓練集和測試集分別包含23021和20351幀點云，每幀大約10萬個點，標注的語義類別為28個。之后，SemanticKITTI又增加了實例級別的標注，實例的ID在時序上也是一致的，可以用來作為全景分割和物體跟蹤的評測[17]。
SemanticKITTI數據庫的標注分布（可移動物體在靜止狀態時用實心柱表示）
nuScenes
nuScenes[18]數據庫由知名的汽車零部件供應商APTIV旗下的子公司Motional發布，專門面向自動駕駛應用，包含了1000段城市道路交通場景，數據由6個攝像頭，5個毫米波雷達和1個激光雷達采集。這也是第一個包含了自動駕駛三個主要傳感器的公開數據庫。
nuScenes的點云數據在全部1000個序列的40000個關鍵幀上進行了標注，每幀大約3萬個點。標注的語義類別共有32個，其中包括23個前景類別和9個背景類別。
展開 作者 | 黃浴@知乎
編輯 | 3D視覺工坊
來源 | https://zhuanlan.zhihu.com/p/370650927
知圈 | 進“激光雷達社群”請加微信13636581676，備注激光
看到的一些近期激光雷達做目標檢測的論文。
1 Offboard 3D Object Detection from Point Cloud Sequences, 3, 2021.
這是講自動標注。
3D Auto Labeling pipeline
static object auto labeling
dynamic object auto labeling
2 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud, 3, 2021.
預測前景點的空間形狀，提取結構信息。
Spatial Information Enhancement Network (SIENet)
Network architecture of the HP（hybrid paradigm）-RPN
3 Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds, 4, 2021.
展開 處理導致輸出具有相同規格但具有不同顏色、輻射度和紋理的五個點云。無過濾點云作為過濾點云之間比較的基礎。在視覺解釋中（圖 3），在使用 ND-4、ND-8 和 ND-16 生成的點云中檢測到高紋理細節，而在沒有過濾器和使用 ND-32 的點云中，細節不太清晰.
磚屋頂、樹葉、柵欄和其他細節在 ND-8 和 ND-16 中突出顯示，并在所有其他點云中被遮擋。顏色亮度和對比度的變化可以通過形狀、大小等其他元素來識別目標。紋理是從粗糙到平滑的色調變化的排列和頻率；平滑紋理具有均勻的色調變化，如沒有過濾器和 ND-32 的點云，而粗糙的紋理具有突然的色調變化，如使用 ND-4、ND-8 和 ND-16 的結果（Doumit & Abou Chakra，2020） .
圖 3：不使用和使用中性密度過濾器生成的點云顏色。
在視覺圖像解釋中，ND-8 和 ND-16 被選為顏色較好的點云。如果將圖 3 中顯示的結果從最詳細到最不詳細進行排序，則分類如下：ND-8、ND-16、ND-4 和 ND-32。只有在攝影測量任務期間發生高太陽強度時，才應使用濾光片 ND-32。
結論
研究人員測試了無人機生成的激光雷達和攝影測量點云，以評估點云質量的增強。ICP 用于將兩個點云合并為一個映射框架，以提高攝影測量點云的準確性并為激光雷達點云增加更多的密度。
生產激光雷達、SfM 攝影測量和合并的點云允許在質量方面進行比較。結果表明，經過數據融合處理后，可以增強攝影測量點云的間隙和激光雷達點云的低密度。該研究還考慮了中性密度過濾器對點云顏色增強的影響。
展開 《Vanishing Point Aided LiDAR-Visual-Inertial Estimator》(ICRA2021)
Motivation
這篇文章的動機主要從VIO出發，VIO受制于尺度漂移和旋轉漂移問題，針對旋轉漂移問題，作者采用了加入消失點檢測的方法來解決，針對尺度漂移問題，就是通過建立體素格級別的深度圖來解決.
Contribution
1.提出了第一種消失點輔助激光雷達視覺慣性估計器，它利用激光深度和消失點信息在視覺和幾何退化環境中實現魯棒姿態估計
2.提出了一種新的基于體素圖的特征深度關聯模塊，可以有效地將深度信息分配給視覺特征
3.提出了一種新穎的消失點檢測流程，該流程能夠可靠、高效地檢測出消失點
Content
1.系統框圖
如下圖，主要分成三步處理流程，先是IMU輔助下的滅點檢測，然后進行特征深度關聯，最后進行VIO，VIO主要優化重投影誤差，IMU預積分誤差和滅點約束誤差。
2. IMU輔助的滅點檢測
先是通過稀疏光流法和角點檢測來跟蹤特征，然后用LSD找到線段(記錄端點長度和角度)，因為水平線段檢測的精度很大程度上和相機的旋轉相關，并且如果水平線檢測不準確，那么滅點生成就很差，基于這個出發點，采用基于重力的垂直線檢測來優化IMU旋轉。
展開 時間真快，進入2023年第1季度，計算硬件又開始升級換代，本方案--衛星/無人機影像/LiDAR點云處理應用硬件配置，我們采用intel第13代超頻處理器和nvidia RTX40系列架構，提供最新最快衛星影像3D建模的計算處理硬件方案，從臺式工作站、便攜現場處理工作站、超頻多機集群處理方案。。。
通過保證每個硬件配置和系統架構與應用實景建模算法計算特點匹配，以及對硬件設備進行優化，從而達到完美最佳計算處理能力。
激光雷達點云處理的相關專題、標簽、搜索
激光雷達點云處理的最新內容
時間真快，進入2023年第1季度，計算硬件又開始升級換代，本方案--衛星/無人機影像/LiDAR點云處理應用硬件配置，我們采用intel第13代超頻處理器和nvidia RTX40系列架構，提供最新最快衛星影像3D建模的計算處理硬件方案，從臺式工作站、便攜現場處理工作站、超頻多機集群處理方案。。。
通過保證每個硬件配置和系統架構與應用實景建模算法計算特點匹配，以及對硬件設備進行優化，從而達到完美最佳計算處理能力
目前具備前融合算法能力的OEM不存在，好一點的科技公司能做到把毫米波雷達+攝像頭信息做融合，但是對激光雷達的點云處理能力目前還是捉襟見肘，本人認為未來能把前融合算法做好的前提是強大的AI團隊+對各種傳感器性能有深入了解，缺一不可。
功能架構簡介：
域控式架構最高支持到ADAS功能清單內L2級別功能。
FPGA 能夠提供 AI 應用所需的額外性能和處理效率，包括激光雷達點云處理，以及實現可編程性，從而強化系統靈活性、硬件復用和開發成本下降。
FPGA 在感知算法仍處于開發階段時，因為芯片可以隨算法的開發而定制，避免了昂貴的 ASIC 解決方案重新設計的潛在成本。
這一過程類似于激光雷達的點云處理，這又涉及多方面的因素。如傳輸帶寬，點云建模模型以及域控制器綜合處理算法。在縱向感知方面，毫米波最強；橫向方面，激光最強。豐田和本田的方案，都是激光作為獨立感知，結果再跟攝像頭融合，最后得出最終目標。
作者 |
巫婆塔里的工程師@知乎
來源 |
https://zhuanlan.zhihu.com/p/412161451
1. 前言
之前的文章中介紹了基于LiDAR點云的物體檢測算法。物體檢測的輸出是場景中感興趣物體的信息，包括位置，大小，類別，速度等。相對于點云數據來說，這些輸出結果是非常稀疏的，只描述了場景內的一部分信息。對于全自動駕駛的應用場景
作者 | 晃晃悠悠縱馬江湖@知乎
來源 | https://zhuanlan.zhihu.com/p/418903322
在傳感器融合的基礎上加入了滅點。
《Vanishing Point Aided LiDAR-Visual-Inertial Estimator》(ICRA2021)
Motivation
這篇文章的動機主要從VIO出發，VIO
來源 | GIS前沿
知圈 | 進“雷達群”請加微13636581676,備注雷達
是否可以通過將激光雷達與攝影測量技術相結合來提高點云的準確性和密度？激光雷達數據可以穿透樹木并測量陰影區域以生成非常準確的點云。被動成像相機衍生出更詳細的 3D 模型并使用多光譜信息對點云進行編碼，從而產生有用的彩色點云分類。
如果可以合并這些技術會怎樣？中性密度濾鏡對點云顏色有什么影響
在具體應用領域也出現了不少成功的模型，比如
detection問題的R-CNN，fast RCNN，faster RCNN，SSD，YOLO，RetinaNet，CornerNet等，
解決segmentation問題的FCN，DeepLab，Parsenet，Segnet，Mask R-CNN，RefineNet，PSPNet，U-Net等，
處理激光雷達點云數據的
這一過程類似于激光雷達的點云處理，這又涉及多方面的因素。如傳輸帶寬，點云建模模型以及域控制器綜合處理算法。在縱向感知方面，毫米波最強；橫向方面，激光最強。豐田和本田的方案，都是激光作為獨立感知，結果再跟攝像頭融合，最后得出最終目標。
其中，底層驅動處理層一般是由Tier2供應商進行設計開發的Soc芯片，處理任務主要包含如下：
1）傳感器原始數據處理：
參照下一代自動駕駛傳感器架構而言，其原始數據的處理包括了激光雷達原始點云數據處理，攝像頭原始RGB圖像數據處理（包含一定程度的深度學習模型訓練），毫米波雷達原始微波處理。
