姿態估計
關注創建者：匿名 創建時間：2026-01-05
姿態估計的實例教程
本文算法中，用于訓練的信息渠道包括車輛顏色（color）、型號（type）、id和關鍵點坐標，其中顏色和型號的標簽各自在主干網絡輸出的特征后接一個head（線性層+ReLU+線性層），并用交叉熵損失用來訓練：
id的標簽則采用了分類損失和度量學習中距離度量的損失hard-mining triplet loss用于訓練，其中
表示距離邊際參數，
、
表示候選樣本到正/負樣本的距離，超參數
和
各自是1，
和
都是0.125（之所以這兩個超參數取得很小，是因為這兩個任務與ID分類任務存在潛在的沖突：兩輛有著相同顏色/品牌的車子不一定共用一個車輛id）：
最重要也是最復雜的信息處理模塊在于代表車輛姿態的關鍵點信息。作者選用了當年在人體姿態估計上取得SOTA性能的網絡架構HRNet（TPAMI 2020）作為車輛姿態估計的主干網絡（這么選取是有先例的，18年的IROS中有篇估計車輛姿態的文章The earth ain’t flat: Monocular reconstruction of vehicles on steep and graded roads from a moving camera用的也是當時流行的人體姿態估計網絡架構Hourglass Network），訓練集約為10000張仿真圖像+真實數據集。
具體來說，作者設計了兩種方式來利用車輛的姿態信息，這兩種方式分別對應于兩種不同的信息存儲方式，heatmap和segments。
展開 我們利用這一信息來提高姿態估計的準確性,特別是我們的方法利用掃描和地圖之間的語義一致性來過濾掉動態對象,并在比較方案過程中提供更高級別的約束.這使得我們能夠僅基于三維激光距離掃描成功地組合語義和幾何信息,以實現比純幾何方法更好的姿態估計精度.我們在KITTI Vision基準數據集上評估了我們的方法,顯示了我們的方法與純幾何方法相比的優勢.
提出了基于鳥瞰圖邊緣線的語義視覺SLAM框架，鳥瞰圖由四幅魚眼圖像通過視圖合成生成，對可行駛空間進行分割以提供用于邊緣檢測的掩模，鳥瞰邊緣提取模塊處理從鳥瞰圖像和可行駛空間圖像中檢測到的原始邊緣，然后執行基于IPM的邊緣分割程序，以去除噪聲和扭曲邊緣，通過融合連續邊緣圖像生成局部地圖，用于相對姿態估計和全局建圖，同時構建并優化了邊緣點云地圖和占用柵格地圖。
鳥瞰邊緣線提取：
將合成的鳥瞰圖像以及分割的可行駛空間圖像作為系統的輸入。檢測原始混合邊緣，包括可行駛空間內的邊緣和自由空間輪廓，然后是基于IPM的分割模塊，該模塊能夠去除地面眩光引起的大部分噪聲邊緣以及地面上方扭曲的物體邊緣
建圖：
使用提取的混合邊，建圖模塊累積并生成概率局部地圖，用于相對姿勢估計，通過記錄軌跡和姿勢圖優化，可以導出全局邊緣點云圖以及占用柵格地圖
里程計：
根據車輪里程計的初始變換，通過語義點云配準來估計局部地圖中的當前姿勢，每個幀的姿態進一步累積，以生成全局地圖中的車輛軌跡。
展開 征稿領域
主題包括但不限于：
計算機視覺：機器視覺；學習與視覺；圖像分割、理解和處理；面部和手勢識別； 視覺識別；地理信息系統；面向視覺的深度學習；照明和反射率；生物啟發視覺；基于內容的檢索；姿態估計
虛擬現實：增強現實 （AR）；混合現實 （MR）；多媒體；動態紋理合成；建模技術；分布式系統；多模態用戶界面；行為建模；人工生命；信號重建；運動捕捉
聯系方式
PASE平臺：http://www.pasanhu.cn/ConferenceCn.aspx?id=CVVR%202024
CVVR官網：http://www.iccvvr.com
會議秘書：Ms. Elena Zhang
郵箱：info@iccvvr.com
電話/微信：+86-15697142092
展開 Beyond PASCAL: A Benchmark for 3D Object Detection in the Wild
PASCAL3D +數據集，它是用于3D對象檢測和姿態估計的新穎且具有挑戰性的數據集。PASCAL3D +通過3D注釋增強了PASCAL VOC 2012 [12]的12個剛性類別。此外，從ImageNet 為每個類別添加了更多圖像。與現有的3D數據集相比，PASCAL3D +圖像具有更大的可變性，并且每個類別平均有3,000多個對象實例。該數據集將為研究3D檢測和姿態估計提供豐富的測試平臺，并將有助于顯著推動這一領域的研究。在新的數據集上提供了DPM 的變化結果，用于在不同情況下進行對象檢測和視點估計。
物體檢測和姿態估計的基準（10個類別，每個類別有10個對象實例）
鏈接：
https://cvgl.stanford.edu/projects/pascal3d.html
6. Oakland 3-D Point Cloud Dataset（奧克蘭 ）
這個數據庫的采集地點是在美國卡耐基梅隆大學周圍，數據采集使用Navlab11，配備側視SICK LMS激光掃描儀，用于推掃。其中包含了完整數據集、測試集、訓練集和驗證集。
展開 
姿態估計的最新內容
相較于傳統車外感知任務，艙內感知往往涉及多種任務并發：
（1）駕駛員狀態監測（DMS）需提供 RGB、NIR、深度圖、紅外熱圖等；
（2）艙內目標識別（OMS）需識別成人、兒童、寵物及其關鍵點；
（3）安全帶/手勢/打電話等行為檢測需使用語義分割或姿態估計；
（4）基于時序的行為識別模型還需高幀率、長時間段的時序一致數據。
征稿領域
主題包括但不限于：
計算機視覺：機器視覺；學習與視覺；圖像分割、理解和處理；面部和手勢識別； 視覺識別；地理信息系統；面向視覺的深度學習；照明和反射率；生物啟發視覺；基于內容的檢索；姿態估計
虛擬現實：增強現實 （AR）；混合現實 （MR）；多媒體；動態紋理合成；建模技術；分布式系統；多模態用戶界面；行為建模；人工生命；信號重建；運動捕捉
聯系方式
PASE平臺：http
例如：1.可變形的障礙物，如兩節的掛車，不適合用3D bounding box來表示；2.異形障礙物，如翻倒的車輛，3D姿態估計會失效；3.不在已知類別中的障礙物，如路上的石子、垃圾等，無法進行分類。因此，我們希望能找到一種更好的表達來描述這些長尾障礙物，完整估計3D空間中每一個位置的占據情況（occupancy），甚至是語義（semantics）和運動情況（flow）。
下圖是流程圖：其中攝像頭還是用SFM估計姿態。
這是使用的圖像標定板：
激光雷達系統標定
牛津大學論文“Automatic self-calibration of a full field-of-view 3D n-laser scanner".
兩種機器人手眼系統的結構形式
a)眼在手機器人系統，（b）眼看手機器人系統
有些應用場合，為了更好地發揮機器人手眼系統的性能，充分利用固定成像眼看手系統全局視場和隨動成像眼在手系統局部視場高分辨率和高精度的性能，可采用兩者混合協同模式，如用固定成像眼看手系統負責機器人的定位，使用隨動成像眼在手系統負責機器人的定向；或者利用固定成像眼看手系統估計機器人相對目標的方位，利用隨動成像眼在手系統負責目標姿態的高精度估計等
其中第一階段主要測試在真實環境中算法的精度和魯棒性，測試環境從光照強烈的野外到黑暗的建筑內部，在實現外部環境感知的同時完成自身位置和姿態的估計并避免碰撞各類障礙物。2017年6月，第一階段目標達成，無人機能夠在場景驟變的條件下實現快速的姿態調整、環境感知以及避障，在特征稀缺的低紋理環境中穿越較長距離，迅速完成尋找目標的任務，測試路徑如圖3(a)所示。
最后，對pose graph進行優化，以提高姿態估計精度。
IMU和GPS數據（圖中粉紅色區域）可以集成在pose graph生成器模塊，提高估計軌跡的精度。此外，預計算里程計（例如，通過不同的傳感器或系統）可以作為scan matching的初始猜測提供給跟蹤器。
B.姿態估計
融合后的局部邊緣地圖被閾值化并轉換為世界坐標系下的點云，為了在局部地圖上估計當前車輛的姿態，首先通過車輪里程計變換將當前幀中的邊緣點投影到局部地圖上，然后通過最近鄰搜索建立數據關聯，最后，可以通過解決以下問題來估計定位地圖T的當前姿勢
姿態估計進程：利用傳感器數據估算出飛行器當前姿態。
協處理器通信進程：獲取遙控數據。
狀態識別進程：結合傳感器數據、飛行器姿態和遙控數據識別出飛行器當前模式。
姿態控制進程：通過飛行器姿態、遙控數據、飛行器模式計算出當前所需的PID控制量并推送至uORB。
協處理器通信進程 ：再將訂閱的PID控制量通過高速串口發送至協處理器。
該數據集將為研究3D檢測和姿態估計提供豐富的測試平臺，并將有助于顯著推動這一領域的研究。在新的數據集上提供了DPM 的變化結果，用于在不同情況下進行對象檢測和視點估計。
