單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)


作者 |  CV_Community  
來源 |  計算機視覺社區


本文還是在傳統機器視覺的基礎上討論單目測距,深度學習直接估計深度圖不屬于這個議題,主要通過mobileye的論文管中窺豹,相信離實際工程應用還有很遠。
     
以前提過單目測距的問題,檢測的障礙物2-D框加上攝像頭的姿態和路面假設。以下根據公開發布的論文討論具體的算法:
注: 深度學習直接估計深度圖不屬于這個議題。

1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖1

著名的Mobileye論文,先看成像幾何如圖:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖2

本車A,前方車B和C,攝像頭P焦距f,高度H,和障礙物B/C距離Z1/Z2,B/C檢測框著地點在圖像的投影是y1/y2。那么y=fH/Z,所以Z=fH/y。下面是三個不同距離的估計結果:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖3

精度測量得到:90米誤差大約10%, 44米誤差約為5%。

2、Integrated Vehicle and Lane Detection with Distance Estimation
算法流程如下:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖4

先是從3個消失點估算攝像頭焦距,然后6個2D-3D對應點得到攝像頭姿態:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖5

基于車道寬度的假設(3.75米),可以算出投影矩陣,隨之得到距離公式:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖6
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖7

下圖是一些結果:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖8

3、Use of a Monocular Camera to Analyze a Ground Vehicle’s Lateral Movements for Reliable Autonomous City Driving

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖9

還是基于消失點原理,加上水平線,可得到道路場景幾何關系。

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖10

消失點和pitch angle的關系:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖11

從消失點得到pitch angle:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖12

4、Robust Range Estimation with a Monocular Camera for Vision-Based Forward Collision Warning System

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖13

如果車輛寬度已知,那么車距為d=FW/w。
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖14
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖15

如上圖,可以計算距離為:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖16
整個FCW系統流程圖如下:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖17

給了一個虛擬水平線的概念,估計它的位置  單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖18 ,Hc為攝像頭高度,Yb是車輛框底部的垂直位置。然后可以計算出車輛距離:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖19

5、Robust Vehicle Detection and Distance Estimation Under Challenging Lighting Conditions
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖20

碰撞報警需要估算安全距離。下圖幾何關系能給出估計距離的公式:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖21

距離公式為

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖22

下圖是IPM的鳥瞰圖展示距離:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖23
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖24
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖25

6、Pitch Angle Estimation Using a Vehicle Mounted Monocular Camera for Vehicle Target Range Measurement

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖26

計算特征點運動,由此得到自身攝像頭運動,從其平移向量推出pitch angle。

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖27

上圖可以計算出前方車的距離:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖28
整個系統流程圖如下:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖29

下面就是從SFM的幾何關系推理距離:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖30
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖31

看下面的關系可以得到pitch angle:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖32
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖33

角度計算公式為
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖34

7、Forward Collision Warning with a Single Camera

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖35

time to contact (TTC) 直接從車輛的大小和位置得到,下面是流程圖:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖36

計算公式:
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖37
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖38
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖39
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖40
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖41
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖42
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖43
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖44

車邊框的位置以及光流大小可以確定碰撞的可能性:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖45
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)的圖46

這里主要是通過簡單的幾何關系,直接估算檢測的路上車輛距離并給出可能的撞擊時間。現在深度學習越來越強大,理論上得到車檢測邊框的同時,也可以回歸車的距離。

登錄后免費查看全文
立即登錄
App下載
技術鄰APP
工程師必備
  • 項目客服
  • 培訓客服
  • 平臺客服

TOP