語義分割
關注創建者：匿名 創建時間：2021-10-18
語義分割的實例教程
因此，除了物體檢測以外，自動駕駛的環境感知還包括另外一個重要的組成部分，那就是語義分割。準確的說，這部分有三個不同的任務：語義分割（semantic segmentation），實例分割（instance segmentation）和全景分割（panoramic segmentation）。語義分割的任務是給場景中的每個位置（圖像中的每個像素，或者點云中的每個點）指定一個類別標簽，比如車輛，行人，道路，建筑物等。實例分割的任務類似于物體檢測，但輸出的不是物體框，而是每個點的類別標簽和實例標簽。全景分割任務則是語義分割和實例分割的結合。算法需要區分物體上的點（前景點）和非物體上的點（背景點），對于前景點還需要區分不同的實例。
基于LiDAR點云的不同的分割任務（圖片來源于參考文獻[15]）
2. 語義分割
語義分割和物體檢測這兩個任務有著很多的相似之處，其關鍵之處都在于如何有效的從原始點云數據中提取場景中的有用信息，以此對不同位置的語義信息進行解析。
在深度學習流行之前，語義分割一般是通過傳統的監督學習算法（supervised learning）來解決的。其流程主要分為兩步：首先，通過聚類算法找到每個點的鄰域，在該鄰域范圍內進行特征提取，以此特征為基礎對每個點進行分類。機器學習領域中經典的分類器，比如SVM，AdaBoost，Random Forest等等都可以采用。這一步驟與傳統的點云物體檢測方法非常類似。其次，以上的特征提取和分類并沒有考慮大范圍的上下文信息，而這部分信息對語義分割來說是不可或缺的。因此，在局部分類的基礎上，還需要一個上下文模型來提高分割結果的正確性和平滑性。這里最常用的模型是Conditional Random Fields (CRF)。
展開 作者 |
Andrew Tao and Karan Sapra
來源 |
人工智能算法與Python大數據
導讀：
來自NVIDIA的
SOTA
語義分割文章，代碼開源。
有一項重要的技術，通常用于自動駕駛、醫學成像，甚至縮放虛擬背景：“語義分割。這是將圖像中的像素標記為屬于N類中的一個(N是任意數量的類)的過程，這些類可以是像汽車、道路、人或樹這樣的東西。就醫學圖像而言，類別對應于不同的器官或解剖結構。
NVIDIA Research正在研究語義分割，因為它是一項廣泛適用的技術。我們還相信，改進語義分割的技術也可能有助于改進許多其他密集預測任務，如光流預測(預測物體的運動)，圖像超分辨率，等等。
我們開發出一種新方法的語義分割方法，在兩個共同的基準：Cityscapes和Mapillary Vistas上達到了SOTA的結果。IOU是交并比，是描述語義分割預測精度的度量。
在Cityscapes中，這種方法在測試集上達到了85.4 IOU，考慮到這些分數之間的接近程度，這相對于其他方法來說是一個相當大的進步。
在Mapillary上，使用單個模型在驗證集上達到了61.1 IOU，相比于其他的使用了模型集成最優結果是58.7。
預測結果
研究過程
為了開發這種新方法，我們考慮了圖像的哪些特定區域需要改進。
展開 比如說，ContFuse在BEV網格上融合了圖像和點云特征，這個特征就可以用來進行網格級別的語義分割，而PointPainting將圖像特征附加到點云上，后續可以采用任何基于點云語義分割的算法來對每個點進行語義分類，甚至也可以進行實例分割和全景分割。
3. 結果對比
這里我們來總結和定量的對比一下前面介紹的各種融合方法。準確度指標采用采用KITTI數據庫上3D車輛檢測中等難度的AP（70% IoU），速度指標采用FPS（運行的硬件不同，因此不具備完全的可比性）。下表中融合方法一欄中的D+F表示決策+特征層融合，之后的2D/3D表示是在2D圖像還是3D點云上提取物體候選框。F表示特征層融合，之后的BEV和Point表示融合的位置。總體來說，特征層融合的效果較好，基于Point的融合也優于基于BEV的融合。
展開 除了使用輕量化網絡改進分割算法外，ICNet則使用了使用模型壓縮技術如量化、蒸餾、模型剪枝等技術針對訓練后的模型進行壓縮優化，并且在網絡中設計了低分辨率分割分支能夠使網絡快速獲得一個粗略的語義信息，再融合更高分辨率分支的結果補充細節，最終得到一個比較不錯的精度與分割速度的平衡。
在深度學習落地這一強大驅動力下，越來越多的研究人員不再熱衷于構造復雜又冗余的網
絡結構針對分割準確率進行刷榜。
伴隨著移動設備越來越強大的計算能力，很多語義分割應用
都在移動平臺實現了落地，如手機端的人物換臉、自動摳圖、智能換背景等應用都使用了語義
分割方法對主體與背景進行了精細的分割。
只是這類應用通常只需處理一張圖像，對實時性要
求不高。
而自動駕駛或服務機器人的使用場景則對實時性有很高的要求。
展開 來源 |
有三AI
本篇文章，我們講解圖像分割需要掌握的重要知識點。本文將帶你走進圖像分割的大門，著重關注該領域的研究方向以及重點難點，講述如何學好圖像分割算法。
1 圖像分割簡介
圖像分割，是指將圖像分成若干語義目標的過程，可以細分為3個方向，見下圖對比。
首先我們要把圖像中的目標歸為不可數目標（stuff類別，比如天空只有一個，不能數）和可數目標（things類別，比如人可以有多個），然后我們看3個方向的對比。
圖1 圖像分割3個研究方向
語義分割(semantic segmention)，也就是通常理解的圖像分割，它是一個逐像素的圖像分類問題，每個像素預測類別唯一，可數目標與不可數目標都要分類。
實例分割(Instance Segmentation)，不僅要預測可數目標的語義標簽，還有區分個體的ID，語義標簽指的是物體的類別，而實例ID則對應同類物體的不同編號，注意不可數目標不需要預測。
全景分割(Panoptic Segmentation)，它要求圖像中的每個像素點都必須被分配一個語義標簽和一個實例id。
全景分割與語義分割的關系是：如果所有的類別都是stuff，那么全景分割除了度量與語義分割不同外，其它相同。
展開 
語義分割的相關專題、標簽、搜索
語義分割的最新內容
三、3DGS 的能力邊界
3.1 世界提取工具鏈多模態重建能力
康謀世界提取工具鏈采用兩階段訓練模式：NeRF 教師模型輸入 RGB、LiDAR 深度圖、LiDAR 強度圖和語義分割，經 L2 損失監督后輸出稠密點云；3DGS 學生模型用該點云初始化，每個 Gaussian 攜帶顏色（3 階球諧函數 SH）、深度/法線、LiDAR 強度（sigmoid 歸一化標量）和語義標簽。
圖6：UE語義標簽與aiSim仿真運行示例
仿真運行時，這些信息可作為感知真值輸出，生成語義分割圖像與2D/3D邊界框，用于算法驗證。外部導入的FBX模型在確保材質模板統一后，同樣支持語義標簽配置，大幅提升了地圖編輯的靈活性。由此，便可以施加各種各樣的3D資產到地圖中，豐富地圖的表達。
（2）基于真值（GT）通道的誤差評估與新興重建技術
為量化上述誤差，業界主要依托GT通道進行精準評估，并運用NeRF/GS等新興技術進行高保真重建
GT通道的作用：仿真環境可以生成完美的像素級真值數據，如深度圖、法線圖、語義分割圖等。通過對比真實傳感器采集的深度數據與仿真渲染的深度圖，可以精確評估場景的幾何誤差（MAE/RMSE）。
此外，深度自然匿名化（DNAT）技術還能確保圖像語義分割的一致性（該一致性經過專業檢測），避免了傳統模糊處理導致的信息丟失與上下文斷裂問題，完美平衡了隱私保護與數據可用性。這一解決方案徹底打破了 “創新必須以犧牲隱私為代價” 的固有認知，讓自動駕駛行業能夠在合規前提下持續推進技術迭代。
（2）2D 語義分割：針對圖像數據做語義分割，輸出分割標注，輔助 3D 場景的細節優化。
（3）相機位姿優化：校準、優化傳感器采集的位姿數據，確保 3D 重建時空間坐標的準確性，輸出精準位姿信息。
（1）不可逆，真匿名： 生成的覆蓋層是隨機且唯一的，確保原始身份信息無法通過任何手段被逆向工程破解，完全符合全球主流法規的匿名化標準；
（2）保留核心屬性： 在替換面部的同時，DNAT能夠保留原始人物的性別、種族、視線方向、面部表情甚至佩戴物（如眼鏡）等關鍵屬性；
（3）完全支持AI訓練： 經DNAT處理的數據，在用于目標檢測、語義分割等AI模型訓練時，其性能表現與使用原始數據幾乎沒有差異。
智能汽車合成數據架構與應用實踐分享10個月前
03 艙外場景：覆蓋長尾與多模態融合
艙外感知系統面向自動駕駛和高級輔助駕駛，涵蓋目標檢測、追蹤、語義分割、路徑預測等任務。其合成數據生成流程需覆蓋：
1、地圖構建與拓撲建模：包括道路結構、車道線、交通信號、標識牌等。
2、動態體建模與行為建控：構建多類交通參與者并設定其行為模型，模擬現實中復雜交互。
測試過程中，我們記錄了全部傳感器和車輛狀態數據，包括：
視覺數據 (Camera)：RGBA原始圖像、語義分割圖、目標檢測圖及JSON格式的2D/3D標注框。
雷達數據 (Radar & LiDAR)：毫米波雷達和激光雷達的點云（LAS v1.4）、目標列表及3D標注框。
相較于傳統車外感知任務，艙內感知往往涉及多種任務并發：
（1）駕駛員狀態監測（DMS）需提供 RGB、NIR、深度圖、紅外熱圖等；
（2）艙內目標識別（OMS）需識別成人、兒童、寵物及其關鍵點；
（3）安全帶/手勢/打電話等行為檢測需使用語義分割或姿態估計；
（4）基于時序的行為識別模型還需高幀率、長時間段的時序一致數據。
通過仿真，可以同時生成這三類傳感器的視角數據，并自動對齊時間戳、坐標系和標注信息，輸出包括 3D 邊界框、語義分割、目標速度等在內的完整標簽，且格式兼容 nuScenes 等主流標準。這類數據可用于訓練融合模型識別道路上的異形障礙物，例如夜間難以通過視覺識別的散落雜物，或需要多模態補強感知的邊緣目標。仿真帶來的高度可控性也便于統一測試條件，對模型性能進行定量分析與精細化調優。
