點(diǎn)云可視化的案例
在Wolfram語(yǔ)言中用GeoGraphics可視化嫦娥4號(hào)著陸點(diǎn)
在Wolfram語(yǔ)言中，可以使用 Geo Graphics 可視化著陸場(chǎng)地和艾特肯撞擊盆地。使用浮雕圖示法可以讓著陸點(diǎn)周邊的地理環(huán)境更容易被展現(xiàn)。
場(chǎng)景采集感知測(cè)評(píng)軟件 INTEWORK-ARS
傳感器標(biāo)定模塊
傳感器標(biāo)定模塊，可以快速便捷地通過(guò)可視化交互，對(duì)相機(jī)、雷達(dá)、多傳感器間的相關(guān)參數(shù)進(jìn)行標(biāo)定，獲得標(biāo)定數(shù)據(jù)及文件，滿足在線及離線使用需求。
激光雷達(dá)外參數(shù)標(biāo)定
多激光雷達(dá)標(biāo)定
相機(jī)內(nèi)外參數(shù)標(biāo)定
激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定
感知計(jì)算模塊
激光雷達(dá)點(diǎn)云、相機(jī)圖像等傳感器原始數(shù)據(jù)，經(jīng)過(guò)感知計(jì)算模塊，可以獲得目標(biāo)級(jí)數(shù)據(jù)信息。
動(dòng)態(tài)目標(biāo)檢測(cè)
靜態(tài)場(chǎng)景檢測(cè)
可行駛區(qū)域檢測(cè)
相機(jī)雷達(dá)融合目標(biāo)檢測(cè)
統(tǒng)一數(shù)據(jù)集
全局信息輸出
激光雷達(dá)3D目標(biāo)標(biāo)注模塊
激光雷達(dá)3D目標(biāo)標(biāo)注模塊可以加載預(yù)標(biāo)注標(biāo)簽，對(duì)目標(biāo)信息進(jìn)行交互式增刪改查，生成標(biāo)簽數(shù)據(jù)，用于使用者后續(xù)的訓(xùn)練、測(cè)試、測(cè)評(píng)等需求。
顯示目標(biāo)及屬性
視角選擇
自動(dòng)關(guān)聯(lián)標(biāo)注
點(diǎn)云可視化操作
便捷式人機(jī)交互操作
傳感器目標(biāo)感知能力測(cè)評(píng)模塊
該模塊可對(duì)待測(cè)傳感器的目標(biāo)檢測(cè)和跟蹤能力進(jìn)行快速測(cè)評(píng)，獲得能力指標(biāo)，滿足使用者在產(chǎn)品對(duì)標(biāo)、性能驗(yàn)證等環(huán)節(jié)的工具需求。
展開(kāi) 自動(dòng)駕駛感知數(shù)據(jù)閉環(huán)簡(jiǎn)析
Lidar數(shù)據(jù)輸入
Lidar的工作原理，是通過(guò)激光照射到物體表面接收到反射光，從而計(jì)算反射點(diǎn)相對(duì)發(fā)射器的空間坐標(biāo)。不論是哪種類型、哪個(gè)廠家的Lidar，最終輸出的數(shù)據(jù)本質(zhì)上都是大量反射點(diǎn)的信息集合。這些空間中大量的反射點(diǎn)集合在一起就是我們經(jīng)常稱呼的點(diǎn)云（point cloud）。
圖4. 點(diǎn)云可視化圖像
來(lái)源：Velodyne官網(wǎng) https://velodynelidar.com/
上圖是將Lidar點(diǎn)云可視化以后的結(jié)果，為了直觀，圖中用了顏色梯度來(lái)表示點(diǎn)的距離。Lidar設(shè)備端口發(fā)出來(lái)的原始數(shù)據(jù)并不是我們?cè)趫D中看到的這樣，感知模塊需要對(duì)原始數(shù)據(jù)進(jìn)行處理才能得到合適的數(shù)據(jù)形式。
這里先介紹一下點(diǎn)的描述參數(shù)。如下圖所示，單個(gè)反射點(diǎn)的信息主要包括空間信息、時(shí)間戳和反射強(qiáng)度。其中，由于Lidar的工作原理不同，機(jī)械旋轉(zhuǎn)式Lidar通常會(huì)使用徑向距離（radius）、俯仰角（elevation）、方位角（azimuth）來(lái)表示點(diǎn)的空間位置，而半固態(tài)/固態(tài)Lidar，通常使用笛卡爾坐標(biāo)系下xyz來(lái)表示點(diǎn)的空間位置。
圖5. Lidar反射點(diǎn)的信息
雖然不同的Lidar設(shè)備廠家描述點(diǎn)云的數(shù)據(jù)形式不同，發(fā)送出來(lái)的格式不同，但究其本質(zhì)都是對(duì)點(diǎn)云的數(shù)據(jù)描述。因此，各大廠商的Lidar發(fā)送出來(lái)的數(shù)據(jù)結(jié)構(gòu)都是類似的。在此，我們以Velodyne 16線Lidar為例講述。
下圖所示是Velodyne 16線Lidar在單回波模式下發(fā)送的數(shù)據(jù)結(jié)構(gòu)。每一個(gè)區(qū)域里都存放著固定字節(jié)大小的數(shù)據(jù)，整個(gè)區(qū)域組成了數(shù)據(jù)包（Data Block）。
展開(kāi) 點(diǎn)云庫(kù)PCL學(xué)習(xí)教程和點(diǎn)云庫(kù)PCL從入門到精通
1.點(diǎn)云庫(kù)pcl的配置，可以為你配置成功
2.點(diǎn)云數(shù)據(jù)的讀寫：txt, las, laz, pcd, ply
3.點(diǎn)云的數(shù)據(jù)結(jié)構(gòu)kd-tree
4.點(diǎn)云的數(shù)據(jù)結(jié)構(gòu)八叉樹(shù)
5、點(diǎn)云的可視化
6.點(diǎn)云的濾波
7.點(diǎn)云深度圖像
8.點(diǎn)云關(guān)鍵點(diǎn)提取
9.采樣一致性算法（RANSAC）
10.點(diǎn)云特征描述與提取
11點(diǎn)云配準(zhǔn)
12.點(diǎn)云分割
13.點(diǎn)云曲面重建
有疑問(wèn)的可以私聊，為你解答學(xué)習(xí)工作中的問(wèn)題。
歡迎關(guān)注，需要點(diǎn)云庫(kù)PCL電子版的可以留言和私信，關(guān)注送電子版《點(diǎn)云庫(kù)PCL學(xué)習(xí)教程》。
展開(kāi) 
Rocky 4.5新功能亮點(diǎn)
全新：點(diǎn)云可視化
使用了點(diǎn)云（一種排列在字段中的數(shù)據(jù)類型）的模塊現(xiàn)在可以在3D視圖窗口中可視化該數(shù)據(jù)。新的步距參數(shù)使您能夠減少所顯示的點(diǎn)數(shù)，這有助于加快大量數(shù)據(jù)的顯示速度。
附加功能模塊
通過(guò)學(xué)習(xí)新的API:Solver功能，使用和擴(kuò)展Rocky所提供的外部模塊。這些功能模塊包括模擬表面磨損、破碎、熱和接觸的模塊，以及添加額外的CFD耦合阻力定律，收集應(yīng)力張量數(shù)據(jù)以供后續(xù)分析等。
激光雷達(dá)與攝影測(cè)量相結(jié)合如何提高點(diǎn)云質(zhì)量？
在飛行高度為 150m 的市區(qū)，研究人員掃描了 845,669 個(gè)激光雷達(dá)點(diǎn)。在同一個(gè)空中平臺(tái)上，一臺(tái)攝像機(jī)拍攝了 343 幀。應(yīng)用 SfM 技術(shù)生成的點(diǎn)云比單獨(dú)的激光雷達(dá)大七倍，總共有 600 萬(wàn)個(gè)點(diǎn)（圖 2）。
圖 2 的視覺(jué)定性分析使用形狀、形式和密度等標(biāo)準(zhǔn)，而定量方法使用點(diǎn)云密度。不同數(shù)據(jù)集的點(diǎn)云可視化在點(diǎn)密度、細(xì)節(jié)和噪聲方面顯示出明顯的差異。由于攝影測(cè)量點(diǎn)云的噪聲和各種不確定性，使用攝影測(cè)量和激光雷達(dá)點(diǎn)云檢測(cè)建筑物邊界具有局限性。此外，由于激光雷達(dá)技術(shù)是一種基于激光束的主動(dòng)遙感技術(shù)，它可以檢測(cè)電線、圍欄等細(xì)長(zhǎng)結(jié)構(gòu)。
建筑物邊界的線性結(jié)構(gòu)的視覺(jué)分析在激光雷達(dá)中具有非常準(zhǔn)確的幾何形式。相比之下，在 SfM 中，建筑物和高大的樹(shù)木受到陰影的影響并且沒(méi)有點(diǎn)云區(qū)域。激光雷達(dá)和 SfM 之間的差異是由于建筑物和樹(shù)木造成的陰影以及樹(shù)木在沒(méi)有葉子時(shí)被忽略（圖 2）。ICP 算法通過(guò)填充激光雷達(dá)點(diǎn)云中的這些空白區(qū)域以在合并的點(diǎn)云中進(jìn)行插值來(lái)解決這一問(wèn)題。
在 SfM 中，由于地面采樣距離 (GSD) 為 3 厘米，因此檢測(cè)到了屋頂上的灌木、小喬木、堤防和太陽(yáng)能電池板。合并的數(shù)據(jù)集還可以可視化這些城市結(jié)構(gòu)。SfM 方法不能穿透植被覆蓋。
圖 2：城市區(qū)域的激光雷達(dá)、SfM 和合并點(diǎn)云的示例。
生成的融合點(diǎn)云通過(guò)從激光雷達(dá)數(shù)據(jù)集中獲取準(zhǔn)確性來(lái)提高 SfM 點(diǎn)云的質(zhì)量，并通過(guò)增加 SfM 點(diǎn)云的密度來(lái)提高激光雷達(dá)點(diǎn)云的質(zhì)量（Doumit，2020）。
點(diǎn)云顏色增強(qiáng)
中性密度濾光片因其不影響通過(guò)它們的光的顏色而得名。使用 ND 濾鏡可以將光線減少一檔、兩檔、三檔或更多檔，從而實(shí)現(xiàn)較慢的快門速度（Bryan 2004）。
展開(kāi) 一種新的四旋翼模擬器：Flightmare
此外，c = [0, 0, c] 是質(zhì)量歸一化的推力向量。單轉(zhuǎn)子推力的轉(zhuǎn)換[f1, f2, f3, f4]到質(zhì)量歸一化推力c和身體力矩表示為 η。
其中m是四旋翼的質(zhì)量，l是臂長(zhǎng)。我們將單個(gè)轉(zhuǎn)子推力的動(dòng)力學(xué)建模為一階系統(tǒng)f˙ = (fdes ? f)/α，其中α為時(shí)滯常數(shù)。實(shí)現(xiàn)了歐拉和四階龍格-庫(kù)塔方法來(lái)積分動(dòng)力學(xué)方程。
模擬速度：
使用一臺(tái)12核英特爾(R)核心(TM)i7-8850HCPU高達(dá)2.60GHz的筆記本電腦的模擬速度，評(píng)價(jià)結(jié)果如下圖所示。
點(diǎn)云計(jì)算和路徑規(guī)劃：
現(xiàn)有的模擬器并不能提供一個(gè)有效的API來(lái)訪問(wèn)環(huán)境的3D信息，然而，大量的算法都需要這些信息。為了促進(jìn)這個(gè)方向的研究，F(xiàn)lightmare提供了一個(gè)接口，將整個(gè)環(huán)境（或其區(qū)域）的3D信息導(dǎo)出為具有任何所需分辨率的點(diǎn)云(可通過(guò)UI進(jìn)行配置)。
左圖：點(diǎn)云提取的用戶界面；
中間：對(duì)森林環(huán)境中提取的點(diǎn)云的可視化，由OMPL找到的所有無(wú)碰撞路徑（綠線），并求解了A和B之間的最短路徑（紅線）；
右圖：森林環(huán)境中最短路徑的鳥(niǎo)瞰圖。
展開(kāi) 案例分享 | 寶馬集團(tuán)用 VIRES VTD 生成并驗(yàn)證自動(dòng)駕駛系統(tǒng)的傳感器模型
利用這一場(chǎng)景，我們可以展示如何對(duì)激光雷達(dá)傳感器幾何構(gòu)型的建模情況進(jìn)行測(cè)試，以及不同的構(gòu)型對(duì)所生成的點(diǎn)云和占據(jù)柵格有何影響。
本研究中采用了該模型方法兩種不同的傳感器構(gòu)型 SC1 和 SC2。SC1 使用圖 5（a）所示的笛卡爾采樣網(wǎng)格生成光線，SC2 使用圖 5（b）所示的球形采樣網(wǎng)格。通常在生成圖像時(shí)，需要通過(guò)光線跟蹤來(lái)生成線性分布的光線，因此 SC1 方法是合適的選擇。
圖5.光線跟蹤器的采樣網(wǎng)格：（a）笛卡爾（b）球形
然而，由于激光雷達(dá)傳感器的光束幾何形狀偏移會(huì)形成一個(gè)圓錐狀的點(diǎn)云，因此更適合選擇球形采樣網(wǎng)格。
C.數(shù)據(jù)評(píng)估
a. 我們從對(duì)圖 6 所示的采集到的點(diǎn)云進(jìn)行定性考察來(lái)開(kāi)始分析。通過(guò)觀察該點(diǎn)云可以明顯看出，與傳感器構(gòu)型 1（SC1）相比，真實(shí)點(diǎn)云與傳感器構(gòu)型 2（SC2）所生成的點(diǎn)云更為近似。
圖6.點(diǎn)云的可視化：（a）真實(shí)點(diǎn)云，（b）來(lái)自SC1的模擬點(diǎn)云，（c）來(lái)自 SC2 的模擬點(diǎn)云。
b. 如上所述，可將占據(jù)柵格視為傳感器模型驗(yàn)證的抽象級(jí)別。在這里我們還可以將掃描網(wǎng)格（SG）當(dāng)作更高的抽象級(jí)別。掃描網(wǎng)格是對(duì)點(diǎn)云所生成的占據(jù)柵格的單次命中記錄，而占據(jù)柵格則是隨時(shí)間累積的掃描網(wǎng)格。
在評(píng)估環(huán)境模型輸出時(shí)，必須對(duì)現(xiàn)實(shí)場(chǎng)景重新進(jìn)行仿真，并通過(guò)來(lái)自兩個(gè)傳感器構(gòu)型的通用點(diǎn)云來(lái)計(jì)算掃描網(wǎng)格和占據(jù)柵格。掃描網(wǎng)格結(jié)果如圖 7 所示。通過(guò)將兩種傳感器構(gòu)型的掃描網(wǎng)格形態(tài)與真實(shí)數(shù)據(jù)的掃描網(wǎng)格形態(tài)進(jìn)行目視比較，我們可以看出，真實(shí)的掃描網(wǎng)格與來(lái)自 SC2 的掃描網(wǎng)格有著更高的一致性。為將這一觀察結(jié)果量化，表 1 中采用了三個(gè)指標(biāo)并進(jìn)行了匯總。
展開(kāi) 巖體不連續(xù)提取工具---Discontinuity Set Extractor (DSE)
DSE使用了MATLAB的兩個(gè)工具箱(toolbox)，一個(gè)是Computer Vision Toolbox (CVT)，可以對(duì)3D點(diǎn)云進(jìn)行快速的可視化；另一個(gè)是Statistics and Machine Learning Toolbox (SMLT)，SMLT使用了dbscan功能，一種機(jī)器學(xué)習(xí)的聚類算法，我們?cè)谧匀徽Z(yǔ)言處理中曾經(jīng)使用過(guò)dbscan算法【BERT模型的應(yīng)用回顧(階段性總結(jié))；BERTopic(V0.9.0)主題模擬技術(shù)】。
3 應(yīng)用
一個(gè)巖石邊坡使用LiDAR激光掃描儀獲得了1,515,722個(gè)掃描點(diǎn)，其間距小于2厘米，加載數(shù)據(jù)XYZI(坐標(biāo)和反射率)。
對(duì)每個(gè)點(diǎn)搜索其knn最相鄰的點(diǎn)，然后進(jìn)行共面性測(cè)試，計(jì)算法向矢量和極點(diǎn)的密度，提取出最具代表性的極點(diǎn)，因此得到主要平面的產(chǎn)狀。
使用DSE對(duì)點(diǎn)云進(jìn)行分類，然后進(jìn)行聚類分析，取出5個(gè)不連續(xù)組(J1~J5)。
展開(kāi) 