點云數據處理的案例
3D目標檢測/點云/遙感數據集匯總
點云分類(羅蒙諾索夫莫斯科國立大學)
Legend: red — ground, black — building, navy — car, green — tree, cyan — low-vegetation.
鏈接：
點云分類：
https://graphics.cs.msu.ru/en/node/922
2. Semantic3D
大規模點云分類基準，它提供了一個帶有大標簽的自然場景的3D點云數據集，總計超過40億個點，8個類別標簽。并且還涵蓋了多種多樣的城市場景。
該數據集是一個大型戶外數據集，使用地面激光掃描儀獲得，總共包含 40億個點。數據集包含了各種城市和鄉村場景，如農場，市政廳，運動場，城堡和廣場。該數據集包含 15 個訓練數據集和 15 個測試數據集，另外還包括 4 個縮減了的測試數據集。數據集中的點都含有 RGB 和強度信息，并被標記為 8 個語義類別。
8個類別標簽的分類基準，即 1：人造地形；2：自然地形；3：高植被；4：低植被；5：建筑物；6：硬景觀；7：掃描人工制品，8：汽車 。附加標簽 0：未標記點，標記沒有地面真值的點
鏈接：
Semantic3D：http://www.semantic3d.net/
3.
展開 寧夏：43條輸電線路實現無人機激光點云數據采集
“報告工作負責人，±660千伏銀東直流線路226號塔已完成激光點云數據采集，全線激光點云數據全部采集完畢！”國網寧夏檢修公司無人機班班員李波匯報道。
7月5日，隨著最后一架無人機緩緩落地，標志著由該公司無人機班巡檢作業團隊組織的全區750千伏及以上架空輸電線路無人機激光點云數據采集項目正式完成。該項目通過為期4個月的無人機三維激光雷達掃描，繪制出長達2874公里的輸電線路三維模型，為后續開展輸電線路無人機智慧巡檢奠定了基礎。
此次點云數據采集運用無人機搭載高精度多線程激光雷達對全區750千伏及以上電壓等級共計5984基桿塔的交直流輸電線路進行掃描。多線程激光雷達保證了掃描所獲取的三維點云數據精度高達厘米級，掃描獲取的激光點云數據可以直觀地觀察到線路通道走廊內目標物的空間位置和輪廓，確定導地線與地面、建筑、植被等目標物之間的距離，結合數字正射影像DOM、數字高程模型DEM建立三維可視化數據庫，同時生成“三跨點”報告、安全距離檢測分析報告及模擬工況分析報告等，形成一套多源數據融合的智慧三維數字電網。
目前，國網寧夏檢修公司所運維750千伏及以上電壓等級的主電網輸電線路分布區域廣，存在“三跨點”多，線路通道環境復雜。以往巡視方式為人工巡視、可視化監控以及無人機手動巡檢，面對全區近3000公里的主網線路仍存在巡視力度不夠的問題。
去年年底，檢修公司組建無人機巡檢作業團隊，運用無人機開展激光雷達掃描線路桿塔及通道走廊，利用激光點云數據建立輸電通道三維模型、無人機自主巡檢路徑規劃及三維可視化管理等，加強線路走廊樹障分布管控、“三跨點”治理、外破風險管控、輸電線路各類模擬工況分析，有效提高了輸電線路精益化管理。
?“所有點云數據采集完畢后，我們著手將建設智慧線路無人機巡檢一體化管控平臺。
展開 抗震滯回試驗數據處理小工具，交互刪除不想要的數據點
小藤
等你音信全無，我再去愛世間萬物
Part1前言
之前隨手編寫的程序DPP（Delete Pause Point）有bug，不能保存修改后的數據，一直沒有更新，是因為我覺得這種交互方式很費勁，不夠符合”直覺”，因此，花了不短的時間，重新了該程序，并命名為GetCorrectionData。
軟件圖標
封面.png
Part2軟件功能
支持導入任意二維曲線，即能用x、y坐標軸繪制的曲線
支持導入Excel、TXT、CSV，一個文件一條曲線
交互刪除數據點，所見即所得
對于任意滯回曲線，支持整體曲線、荷載時程曲線、位移時程曲線切換刪除操作
支持撤銷、返回功能，刪錯了也不用擔心！
針對不同曲線，刪除的數據點可能不同，因此不支持批量操作，導出格式為Excel
支持拖動、放大、平移曲線等操作
支持圖片保存
Part3功能演示
見下方視頻，注意：由于錄制的原因，視頻中鼠標光標被縮小了，所以看起來沒和鼠標接觸的數據點也被刪除了，實際是不存在這個問題的。
操作說明： 在刪除數據點的過程中，可以配合鼠標滾輪放大縮小并移動曲線，快速的刪除不想要的數據點。
展開 抗震滯回試驗數據處理小工具，以更優雅的方式刪除不想要的數據點
軟件圖標
封面.png
Part2軟件功能
支持導入任意二維曲線，即能用x、y坐標軸繪制的曲線
支持導入Excel、TXT、CSV，一個文件一條曲線
交互刪除數據點，所見即所得
對于任意滯回曲線，支持整體曲線、荷載時程曲線、位移時程曲線切換刪除操作
支持撤銷、返回功能，刪錯了也不用擔心！
針對不同曲線，刪除的數據點可能不同，因此不支持批量操作，導出格式為Excel
支持拖動、放大、平移曲線等操作
支
持圖片保存
Part3功能演示
見下方視頻，注意：由于錄制的原因，視頻中鼠標光標被縮小了，所以看起來沒和鼠標接觸的數據點也被刪除了，實際是不存在這個問題的。
操作說明： 在刪除數據點的過程中，可以配合鼠標滾輪放大縮小并移動曲線，快速的刪除不想要的數據點。
展開 
ViCANdo新版本發布（PART1） | 點云庫（PCL）集成
激光雷達的反射點信息包含了距離、時間和水平角度（Azimuth）等信息，同時結合激光發射器的固定垂直角度，即可以計算出反射點的坐標信息，每一次掃描中反射點的集合即為點云（Point Cloud）。而伴隨著激光雷達的高精度帶來的數據量爆發，點云數據的實時處理就成為工程師要面對的一大挑戰。
當前階段工程師處理點云的校準、分類和分割等任務。利用PCL（點云庫）我們可以實現抽取點云特征、處理目標分類、目標分割及可視化等需求。同時在處理點云數據的同時也需要同步的考慮其他信號的接入，如視頻、毫米波、各類總線信號等。
因此能否有合適的工具既可以同步的采集所需的各種數據，又能夠方便的支撐工程師去進行開發，就是智能駕駛開發工程師需要直接面對的一個問題。
點云數據實時處理
ViCANdo Suite是針對智能駕駛功能的開發和測試平臺，能夠同步的采集所需的各類數據，包括但不限于如下列表中的數據源，同時工具集成PCL（點云庫），工程師可以直接使用PCL來進行相關的開發。
展開 一文詳解智能駕駛感知系統測試技術
Yue等人提出了一個針對自動駕駛場景的點云數據生成框架，該框架通過精確地對游戲場景中的點云數據進行基于標注物體的變異，從而獲得新的數據，他們用該方法獲得的變異數據重新訓練自動駕駛系統的點云數據處理模塊，得到了較好的精確度提升。
本團隊設計并實現了一個激光雷達自動化測試工具 LiRTest, 主要用于自動駕駛汽車目標檢測系統的自動化測試，并且能夠進一步重新訓練以提升系統魯棒性。LiRTest 首先由領域專家設計了物理和幾何模型，然后根據模型構造變換算子。開發人員從現實世界的數據中選擇點云種子，利用點云處理單元對其進行識別和處理，并實現基于變換算子的變異算法，來生成評估自動駕駛 3D目標檢測模型的魯棒性的測試數據。最終 LiRTest 得到測試報告，并對算子設計給出反饋，從而迭代提升質量。
自動駕駛系統是一種典型的信息 - 物理融合系統，其 運行狀態不僅由用戶輸入信息及軟件系統內部狀態決定，同時也受到物理環境的影響。雖然目前有少量研究關注多種環境因素影響的點云數據生成問題，但由于點云數據的 自身特點，其生成數據的真實性很難與路測數據等同因此，如何在不明顯增加額外資源消耗的情況下，自動化地生成能夠描述多種真實環境因素的點云數據，是需要解決的一個關鍵問題。
在自動駕駛軟件常見軟件架構中，人工智能模型對于駕駛決策及系統行為具有極其重要的影響，其影響到的功能包括：物體識別，路徑規劃，行為預測等。點云數據處理最常使用的人工智能模型是目標檢測模型，采用深度神經網絡實現。雖然該技術可以在特定任務上獲得較高的精確度，但是由于其結果缺乏可解釋性，用戶與開發人員無法對其行為進行分析確認，給測試技術的研發以及測試充分性的評估帶來了極大的困難。這些，都是未來激光雷達模型測試人員需要面對的挑戰。
展開 基于點云的球銑加工動態仿真
1 相關研究
點云用于描述三維空間物體表面信息，每個點都包含三維坐標，也可能包含深度、密度、顏色信息等，相比于二維圖像數據，特征準確，更接近人類的視覺，更容易理解三維場景，但存在無序性、密度不一致、信息不完整等特點，對點云數據處理比較復雜和困難[10]。三維點云采集技術日漸成熟，利用先進設備可以在短時間內采集物理表面海量點云數據，受技術、環實物本身等因素影響，采集到的點云模型會有孔洞、噪點、密度不均等現象，因此產生點云孔洞修補、濾波、壓縮等技術研究熱點[11,12]。點云逆向工程是將測量得到的點云數據進行預處理、重構以及檢測來生成原產品的CAD模型，能夠縮短產品設計周期、保持原有產品的成熟傳承特性，廣泛應用于產品的改型設計、藝術品和文物等的仿制修復和工業地理信息測量等領域[13]。
現有加工制造仿真研究多注重于有限元分析、表面形貌仿真，得益于高性能計算機技術和軟件技術的發展，為研究切屑形成機理、切削力和加工表面微組織演變提供了支持[14,15,16]。文獻[17]研究加工尺度上的仿真算法，提高仿真效率；Altintas等[18]提出任意立銑刀或插刀幾何的通用建模方法，并設計虛擬銑削仿真系統，以改進工業中的刀具設計或工藝規劃。
2 球銑仿真模型
銑削加工形式多樣，一般由數控裝置、伺服裝置、機床主體等組成，工件由夾具固定，與固定在刀柄上的刀具相對運動。機械臂具有靈活性高、占用空間小、可協同加工等特點，普遍應用于現代化生產。本研究中僅取工件與刀具的模型，將坯件表面點采樣為點云模型，控制其在相應加工坐標系中運動，模擬加工時的位置變化。銑刀在加工過程中高速旋轉，其切削刃近似為球面，當坯件模型上的點在銑刀球面內時，即認為該位置被銑削。
2.1坯件點云采樣
工件的建模常用格式為網格模型，通過對網格進行細化再進行點采樣，轉化為點云模型。
展開 三坐標測量如何實現微米級精度？核心算法全解析
4.路徑平滑優化
應用樣條曲線（如B樣條、NURBS）對連接點進行平滑處理，確保測量運動平穩，減少動態誤差。
此過程將工程師的經驗轉化為精確的數學規則，實現測量過程“零碰撞”與效率最大化。
溫度補償技術：材料膨脹系數如何融入實時修正算法？
溫度變化是微米級測量的“隱形殺手”。現代三坐標測量機溫度補償技術融合材料科學與實時算法：
1.雙維度補償
（1）設備補償：基于機體溫感網絡實時數據，利用機床材料（如花崗巖、陶瓷、鋼）的已知熱膨脹系數(CTE)，通過空間網格模型補償因溫度梯度導致的CMM結構變形。
（圖：中圖三坐標）
（2）工件補償：核心難點。需輸入被測工件材料的精確CTE（或從數據庫匹配）。補償算法依據實時工件溫度(通常通過非接觸紅外測溫或多點接觸測溫獲取)與標準溫度（如20℃）的差值ΔT，對每個測量點坐標進行動態修正：`補償值 = 原始坐標 * CTE * ΔT`。
2.實時算法融合
補償計算需在毫秒級完成，內嵌于CMM控制系統的實時內核。算法需高效處理空間坐標變換，將溫度影響量實時疊加到測量結果上。
3.多傳感器數據融合
整合機體溫感數據、工件溫感數據、環境溫濕度數據，構建綜合補償模型，顯著提升復雜工況下的測量可靠性。
點云數據處理：從海量掃描點到形位公差報告的生成流程
從密集掃描點到直觀的形位公差報告，需經歷嚴謹高效的數據處理鏈：
1.數據采集與預處理
（1）掃描路徑規劃：依據待測特征（自由曲面、孔、槽等）智能生成最優點云采集路徑。
（2）點云去噪濾波：應用統計濾波、半徑濾波、高斯濾波剔除離群噪點與異常值。
展開 基于CATIA的汽車零部件逆向設計
數據處理，在三維掃描過程中，由于光線的明暗、輔助工具的介入、測量儀器的偶然因素、測量環境的震動干擾、操作者的操作水平等因素，就會產生測量噪聲和壞點，一般是不可能全部避免的，這樣就需要使用方法進行剔除。
首先反復觀察測量的物體與已經測量的點云數據，壞點非常容易判斷，比如跑到測量物體外面的游離點云就是壞點，必須手工刪除，有時直接觀察離散點，因為沒有消隱，分辨起來有點困難，可以將點云進行三角面渲染，點云實體化，就可以完成壞點刪除。數據處理的結果將影響模型重構的質量，通過CATIA軟件下“形狀”菜單“Digitized shape editor”及“Quick Surface reconstruction”模塊中各個工具進行數據分塊、數據光順、噪點濾波、特征提取、坐標重置等，完成點云數據處理工作，方便下一步逆向設計工作。
模型重構，是最重要的逆向造型過程，重構方案目前主要有三種：
1）以B-Spline或NURBS曲面為基礎的構造法;
2)以三角Bezier曲面片為基礎的曲面構造法；
3）以多面體面為基礎的曲面構造法。
圖2 網格化數據
NURBS曲面基礎的構造法，以上文所述零部件為例，使用CATIA軟件進行逆向設計，分別在Digitized shape editor模塊下進行坐標切割網格化操作，如圖2。
圖3 NURBS曲面
經網格化的點云數據可以進行點線面編輯，分別在CATIA創成式外形設計和Free Style兩個模塊進行NURBS成面設計，如圖3。
圖4 實體結構數據
根據逆向設計所需，本零部件主要用于質量分析，曲面貼合要求滿足點云誤差≤0.5mm即可，通過點→線→面→體，最終完成點云三維結構數據，如圖4。
成面過程中要注意的原則：
(1）分析被測量物體的部位與功能。
展開 誠智鵬3DCC V6.0震撼發布！10大創新引領行業變革
3DCC V6.0版本通過創新的物理裝配模擬功能，基于第三方CAE數據交互接口，實現了多物理場仿真與公差仿真之間的高效耦合。設計人員可以通過這一功能將CAE仿真結果作為輸入，精確反饋給公差仿真模塊，而公差仿真結果又能及時修正CAE仿真中的偏差，推動設計的迭代優化。兩者的無縫對接，極大提高了仿真結果的準確性和可靠性。
另外，3DCC V6.0還能夠進行變形誤差累積的性能影響分析，幫助設計師精準掌握各項裝配變形對產品性能的影響，從而優化設計方案。
06、運動機構公差仿真：優化運動精度與可靠性
在復雜機械設計中，運動機構的精度優化與失效分析是確保系統長期穩定運行的關鍵。面對運動機構的噪音、磨損失效等問題，如何進行精準的失效原因分析并優化設計，已成為行業的難題。
3DCC V6.0版本推出的運動機構公差仿真功能，通過引入運動仿真模擬與瞬時公差分析，系統能夠實時跟蹤運動過程中的公差變化，全面分析各個運動環節的誤差傳遞，并提供詳細的精度優化方案。無論是對磨損失效的提前預警，還是對運動機構在高負荷工作下的噪音問題，3DCC V6.0都能通過精確的仿真結果，幫助設計人員深入挖掘問題根源，并采取相應的優化措施。
07、基于點云的表面特征分析及裝配
點云數據處理成是現代制造中的一項重要技術，但在實際應用中，尤其是對于批量少、造價高、零件多、結構復雜的高精度產品，傳統的裝配方式往往難以應對，且裝配過程中常常占據了產品總制造時間的50%以上，容易出問題。特別是目前缺乏點云裝配分析工具，使得制造企業在設計與裝配階段面臨諸多挑戰。
3DCC V6.0版本的基于點云的表面特征分析及裝配功能，通過實現點云空間配準，能夠精準地將來自不同角度、不同設備的點云數據進行整合與對齊，解決了傳統點云配準中的精度問題。
展開 TI 第二代雷達芯片深度剖析
▲ Object Detection Data Path Processing Chain
不過DDMA也不是高枕無憂的方案，DDMA潛在問題包括但不限于，
相位校準
峰值混疊
不均衡幅值
下圖為demo實測效果，其測距性能，點云密度，FoV等方面效果還可以，比1代確實有較大提升。希望能夠“Builds customer confidence on mmWave device capabilities”。
▲ 2944demo Test
小結
我們再上升一個臺階，分析TI 2944的發布可能會對車載雷達行業產生哪些影響。
若僅從技術角度分析雷達競爭力，最重要在于天線，MMIC，算法。芯片廠商提供MMIC，雷達廠商因天線及算法上的優勢逐漸建立自身壁壘，而這一狀態似乎慢慢發生變化。
1、 毫米波雷達正逐漸從“信號處理環節差異性”轉向“數據處理環節差異性”，也即是對點云數據處理方式的差異性。TI倡導HWA的使用，將諸多先進信號處理算法固化，用戶只需按需取用，信號處理算法正在被標準化，構建雷達底層標準品。
降低DSP的處理頻率，提高ARM核心主頻，一方面變相引導用戶強化對HWA的使用，另一方面也有利于均衡成本。
展開 
自動駕駛傳感器融合：激光雷達+攝像頭
這些傳感器各有優缺點，也互為補充，因此如何高效的融合多傳感器數據，也就自然的成為了感知算法研究的熱點之一。本篇文章介紹如何在感知任務中融合激光雷達和攝像頭，重點是目前主流的基于深度學習的融合算法。
攝像頭產生的數據是2D圖像，對于物體的形狀和類別的感知精度較高。深度學習技術的成功起源于計算機視覺任務，很多成功的算法也是基于對圖像數據的處理，因此目前基于圖像的感知技術已經相對成熟。圖像數據的缺點在于受外界光照條件的影響較大，很難適用于所有的天氣條件。對于單目系統來說，獲取場景和物體的深度（距離）信息也比較困難。雙目系統可以解決深度信息獲取的問題，但是計算量很大。激光雷達在一定程度上彌補了攝像頭的缺點，可以精確的感知物體的距離，但是限制在于成本較高，車規要求難以滿足，因此在量產方面比較困難。同時，激光雷達生成的3D點云比較稀疏（比如垂直掃描線只有64或128）。對于遠距離物體或者小物體來說，反射點的數量會非常少。
如下圖所示，圖像數據和點云存在著巨大的差別。首先是視角不同，圖像數據是真實世界通過透視投影得到的二維表示，而三維點云則包含了真實世界歐式坐標系中的三維信息，可以投影到多種視圖。其次是數據結構不同，圖像數據是規則的，有序的，稠密的，而點云數據是不規則的，無序的，稀疏的。在空間分辨率方面，圖像數據也比點云數據高很多。
圖片來源于參考文獻[1]
自動駕駛感知系統中有兩個典型的任務：物體檢測和語義分割。深度學習技術的興起首先來自視覺領域，基于圖像數據的物體檢測和語義分割已經被廣泛和充分的研究，也有很多非常全面的綜述文章，這里就不贅述了。另一方面，隨著車載激光雷達的不斷普及以及一些大規模數據庫的發布，點云數據處理的研究這幾年來發展也非常迅速。
展開 自動駕駛傳感器創新的困境
高性能傳感器對芯片以及整個計算平臺的性能有著極高的要求，通常有幾個主要指標：
計算算力：激光雷達需要高算力，用于 3D 點云的高數據速率圖像處理，3D 點云由每秒超過 100 萬個數據點構成，數據量遠超攝像頭和其他雷達傳感器。激光雷達 3D 點云數據處理的步驟為：通過移除不需要的數據進行數據預處理；過濾相關數據并將點云分段；最終識別并分類特征；
高拓展性：未來傳感器的融合需要芯片架構具有非常強的拓展性以支持運行不同的軟件，而且不同的技術體系的類型之間要能實現復雜數據的計算；
性能與低功耗：要做到限制成本與傳感器模塊尺寸以滿足熱管理要求；
低時延和動態數據吞吐量：處理數據的延遲越低，越能夠降低執行機構的執行時間，從而降低危險；
算法匹配：現在的芯片算法既要滿足大數據量的計算，也要滿足 AI 邊緣算法的需求。
而目前最大的問題是，市場上的激光雷達硬件、深度學習算法軟件都還沒有形成產業規模，也就是標準的通用型產品，因此，使用專用的 ASSP/ASIC 架構芯片效率并不高，這個時候芯片的高靈活性其實更為重要。
也正因如此，FPGA 處理平臺正在被大規模應用，從結果來看未來基于 FPGA 架構的芯片可能會更受制造商的喜歡。
基于 FPGA 的解決方案
到這里就出現了三個比較陌生的詞：ASSP、ASIC、FPGA。
ASSP專用標準產品，從名字我們就可以知道了它是一個通用型的設備；ASIC 被稱為特定應用集成電路，它是因特定需求而開發的設備，可以簡單理解為這是定制的標準產品。
專用標準產品（ASSP）的設計和實施方式完全和 ASIC 相同，因為他們本質上是相同的東西。
展開 下一代自動駕駛域控制器系統架構設計
此外，一般情況下，Soc與MCU的連接一般是通過ehtenet、PCIe進行傳輸，可以實現將Soc的數據高效傳輸至MCU，這里需要注意的是在連接設計上兩者的區別，如果是需要對傳感器信號進行時標同步至控制器，則一版采用Ethernet效果更優。而SPI設計來說相對簡單、高效。
以上涉及的內容會完全影響到對于域控制器的硬件設計結果。
平臺化軟硬件架構
系統功能架構上主要包含設計實現功能的應用軟件層及底層驅動處理層。分別由中央域控制器的MCU芯片及SOC芯片進行控制處理，當然其中也有功能交叉。
其中，底層驅動處理層一般是由Tier2供應商進行設計開發的Soc芯片，處理任務主要包含如下：
1）傳感器原始數據處理：
參照下一代自動駕駛傳感器架構而言，其原始數據的處理包括了激光雷達原始點云數據處理，攝像頭原始RGB圖像數據處理（包含一定程度的深度學習模型訓練），毫米波雷達原始微波處理。下圖表示了一種典型的傳感器數據處理架構：
2）基礎驅動處理：
主要包含文件系統讀寫、線程控制，同時集成高速、大數據吞吐量、靈活和智能的網絡子系統；集成硬件加速器提高數據包和網絡安全 處理，以降低延遲性和軟件復雜度；集成以太網交換機降低系統成本，縮小系統體積。
另一方面，應用軟件位于平臺的最頂層，通常由主機廠負責定義和開發，一般是實現四方面的功能子項。
1）用戶可感知的應用軟件功能，如HWP、TJP、NoP等。
展開 汽車車身逆向工程設計關鍵技術及應用
逆向工程設計主要包括如下過程：三維測量獲得點云數據、數據處理、特征的提取、曲面重構和曲面評價等。逆向設計并不是簡單地復制，而是要在逆向過程中增加一些特征要素，設計出工藝性更好，質量更高的產品的過程。該文主要探討汽車車身逆向設計的關鍵技術和技術特點。（來源：制造網）
汽車車身逆向工程設計關鍵技術及應用.doc
