作者 | 晃晃悠悠縱馬江湖@知乎

來源 | https://zhuanlan.zhihu.com/p/418903322

在傳感器融合的基礎上加入了滅點。

《Vanishing Point Aided LiDAR-Visual-Inertial Estimator》(ICRA2021)

Motivation

這篇文章的動機主要從VIO出發，VIO受制于尺度漂移和旋轉漂移問題，針對旋轉漂移問題，作者采用了加入消失點檢測的方法來解決，針對尺度漂移問題，就是通過建立體素格級別的深度圖來解決.

Contribution

1.提出了第一種消失點輔助激光雷達視覺慣性估計器，它利用激光深度和消失點信息在視覺和幾何退化環境中實現魯棒姿態估計

2.提出了一種新的基于體素圖的特征深度關聯模塊，可以有效地將深度信息分配給視覺特征

3.提出了一種新穎的消失點檢測流程，該流程能夠可靠、高效地檢測出消失點

Content

1.系統框圖

如下圖，主要分成三步處理流程，先是IMU輔助下的滅點檢測，然后進行特征深度關聯，最后進行VIO，VIO主要優化重投影誤差，IMU預積分誤差和滅點約束誤差。

2. IMU輔助的滅點檢測

先是通過稀疏光流法和角點檢測來跟蹤特征，然后用LSD找到線段(記錄端點長度和角度)，因為水平線段檢測的精度很大程度上和相機的旋轉相關，并且如果水平線檢測不準確，那么滅點生成就很差，基于這個出發點，采用基于重力的垂直線檢測來優化IMU旋轉。具體過程如下圖:首先根據相機方向，在每個線段的重點得到二維投影向量Z, 然后根據線段和它的投影向量的角度對線段進行分類，角度小于一定的閾值視為垂直，在理想情況下，這些垂直線段會穿過滅點在Z軸的投影，根據這個進行進一步的優化，最終的滅點的z軸上的單位向量可以表示為:

然后根據下面的公式獲得光流的旋轉角度:

并且水平線可以表示為:

在計算出水平線后，可以得出在X和Y方向上的滅點假設，使用1-line RANSAC來選擇地平線，然后將其與水平線相交得出滅點在X的假設:

最終的基于滅點的代價函數可以表示如下:

3. 基于體素格的特征深度關聯

通用的激光賦值視覺特征深度流程

4. VIO

同時優化IMU預積分，Vo重投影，VP殘差。

5. 實驗

Conclusion

這篇論文雖然名稱是基于滅點的VIL融合，但是滅點并沒有和激光有互動，有互動的是通過IMU給了一個更好的旋轉來生成滅點假設，激光的融合還是深度圖，尺度變成體素格加快了匹配，從結果來看，比之前的DEMO之類的確實有提升，但是估計是比不過VLOAM或者LVI-SAM的。

本文 僅做學術分享，如有侵權，請聯 系刪文。