單目視覺系統(tǒng)
關注創(chuàng)建者：匿名 創(chuàng)建時間：2021-10-11
單目視覺系統(tǒng)的實例教程
作者 |
CV_Community
來源 |
計算機視覺社區(qū)
本文還是在傳統(tǒng)機器視覺的基礎上討論單目測距，深度學習直接估計深度圖不屬于這個議題，主要通過mobileye的論文管中窺豹，相信離實際工程應用還有很遠。
以前提過單目測距的問題，檢測的障礙物2-D框加上攝像頭的姿態(tài)和路面假設。以下根據(jù)公開發(fā)布的論文討論具體的算法：
注：
深度學習直接估計深度圖不屬于這個議題。
1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
著名的Mobileye論文，先看成像幾何如圖：
本車A，前方車B和C，攝像頭P焦距f，高度H，和障礙物B/C距離Z1/Z2，B/C檢測框著地點在圖像的投影是y1/y2。那么y=fH/Z，所以Z=fH/y。下面是三個不同距離的估計結果：
精度測量得到：90米誤差大約10%, 44米誤差約為5%。
展開 編者按：3D物體檢測（目標檢測）是智能汽車感知系統(tǒng)的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優(yōu)點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業(yè)界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯(lián)方法應用到了交通場景的單目3D物體檢測，并引入了不確定性傳播，可以描述物體位置的不確定性。針對深度回歸問題中偶然不確定性的估計，本文提出了魯棒KL損失，顯著提升了檢測精度，對于一般的不確定性估計網(wǎng)絡有借鑒價值。
摘要：
單目視覺3D物體檢測的主要難點在于物體在3D空間中的定位。近年關于6DoF位姿估計的研究表明，預測圖像與物體3D模型之間的2D-3D稠密關聯(lián)（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓練均依賴物體的3D模型真值，這一條件在真實的室外場景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測算法，以自監(jiān)督的形式學習稠密關聯(lián)和物體幾何，這一過程中僅需用到物體的3D框標注。本文使用基于不確定性的區(qū)域重建網(wǎng)絡回歸與2D像素相關聯(lián)的3D坐標。自監(jiān)督訓練是指將3D坐標重投影以重構圖像的2D坐標。為優(yōu)化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測試階段，網(wǎng)絡預測的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計物體的位姿及其協(xié)方差。
展開 摘要
定位是自主機器人的一個關鍵要素.雖然深度學習在許多計算機視覺任務中取得了較大進步,但它仍然沒有較大改進提高度量視覺定位.主要障礙之一是現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡的姿態(tài)回歸方法不能推廣到以前看不到的地方,我們最近推出的CMRNet通過在激光雷達地圖中啟用地圖獨立單目定位有效地解決了這一限制.在本文中,我們現(xiàn)在通過引入CMRNet++.
CMRNet++是一個顯著更魯棒的模型,它不僅有效地推廣到新的地方,而且獨立于相機參數(shù).我們通過將深度學習與幾何技術相結合,并將度量推理移出學習過程來實現(xiàn)這一能力.這樣網(wǎng)絡的權重就不會綁定到特定的攝像頭.在三個具有挑戰(zhàn)性的自主駕駛數(shù)據(jù)集(即KITTI、Argoverse和Lyft5)上對CMRNet++進行的廣泛評估表明,CMRNet++的性能遠遠優(yōu)于CMRNet以及其他系統(tǒng).更重要的是,我們首次展示了深度學習方法的能力,無需在全新的環(huán)境中進行任何再訓練或微調,就能準確定位,并且不受攝像機參數(shù)的影響.
介紹
自動移動機器人，如自動駕駛汽車，需要精確定位才能安全導航。雖然全球導航衛(wèi)星系統(tǒng)提供全球定位，但其精度和可靠性不足以用于機器人導航。
展開 如下圖所示，看上去Veoneer的業(yè)務線是很強的，但問題在于各個業(yè)務是孤立的：
（1）單目視覺系統(tǒng)和雙目視覺系統(tǒng)能力：主要客戶是奔馳（SV4）和斯巴魯（SV4），吉利的KX11和EX11平臺，單目系統(tǒng)覆蓋沃爾沃和吉利的平臺；
（2）ADAS ECU和Z1S的軟件服務主要的客戶對象是沃爾沃和吉利，奔馳也使用了這塊的軟件系統(tǒng)；
（3）毫米波雷達（77GHz和24GHz）方面主要客戶是吉普、福特、吉利、沃爾沃、本田、奔馳，但是這個業(yè)務是白熱化的；
（4）Veoneer的DMS駕駛員狀態(tài)監(jiān)測系統(tǒng)，用在吉普和福特兩個北美客戶上；
（5）其他還有潛在的激光雷達（Velodyne代工廠）和高精度地圖。
產(chǎn)品確實是在走量，但是完全沒有如之前規(guī)劃的，可以協(xié)同進行、并爭取更高的毛利。
圖3 Veonner的產(chǎn)品線
我覺得最大的問題在于，目前Veoneer的業(yè)務是整車企業(yè)和其他大的Tier1重金投入的地方，你要保持業(yè)務的護城河，確保未來還能做下去，就需要持續(xù)地投入（2019年研發(fā)及工程開支5.62億美元，2020年壓低到4.07億美元，2021年還需要繼續(xù)投入）。業(yè)務量短期內不會大幅增長，虧損一直在繼續(xù)，卻還需要繼續(xù)投入，這個局面就變得進退兩難。
第二部分 Magna的購買
如前面所說的，現(xiàn)在汽車電子的投入，只能是那些有錢的Tier 1才能玩得轉的事情。麥格納2020年收入326億美元，整體的銷售會在2021年恢復。
展開 圖18 撓度計示意
圖19 撓度計的工程應用
撓度測試新技術
1.基于圖像的遠距離撓度測量方法
①單目視覺測量基本原理
單目視覺測量系統(tǒng)可以用中心透視投影的原理解釋，如圖20所示。被測量的物體表面反射的光線,經(jīng)過一個針孔投射到成像平面上，物像點的大地實際坐標（x，y，z）和對應的相機成像面的坐標在幾何光路中構成一定的關系，實際的坐標經(jīng)過一步的旋轉和一步的平移,可以得到其在相機平面的坐標。
圖20 成像模型示意
②撓度測量系統(tǒng)方案
該系統(tǒng)主要由工業(yè)CCD、長焦鏡頭、標靶和軟件系統(tǒng)組成。當安裝在橋梁上的標靶產(chǎn)生豎向位移時，工業(yè)CCD和長焦鏡頭高頻采集標靶上的數(shù)字化圖像，計算機對采集到的圖像進行同步處理，計算出圖像中標靶中心坐標的位移。由于已知標靶中心點的實際距離和實際坐標，通過計算采集的圖像標志點的像素距離，得到像素距離和實際距離的轉換參數(shù)，從而將測量得到的標志點的像素位移轉換為實際距離。其轉化關系如下：
轉換參數(shù)（mm/pixel）=實際距離（mm）/像素距離（pixel）
通過換算就可以得到標靶的實際位移，從而得到橋梁的撓度變化值。經(jīng)過后續(xù)處理能夠觀測待測點的靜態(tài)位移和動態(tài)位移，觀測實時數(shù)據(jù)和曲線。
展開 
單目視覺系統(tǒng)的相關專題、標簽、搜索
單目視覺系統(tǒng)的最新內容
編者按：3D物體檢測（目標檢測）是智能汽車感知系統(tǒng)的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優(yōu)點?；谙鄼CRGB圖像的低成本3D物體檢測是當下學界和工業(yè)界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯(lián)方法應用到了交通場景的單目
作者 |
CV_Community
來源 |
計算機視覺社區(qū)
本文還是在傳統(tǒng)機器視覺的基礎上討論單目測距，深度學習直接估計深度圖不屬于這個議題，主要通過mobileye的論文管中窺豹，相信離實際工程應用還有很遠。
以前提過單目測距的問題，檢測的障礙物2-D框加上攝像頭的姿態(tài)和路面假設。以下根據(jù)公開發(fā)布的論文討論具體的算法
如Davison 等人在 2007 年提出的單目視覺 SLAM 系統(tǒng) MonoSLAM 是第一個實時的單目 SLAM，它以擴展卡爾曼濾波為基礎，把相機的當前狀態(tài)和所有路標的信息作為狀態(tài)量來更新均值和協(xié)方差信息。SLAM 的理論在國外發(fā)展的比較早，理論比較成熟，國內在這方面起步比較晚，大部分研究都集中在 SLAM 的工程應用上，重點解決工程應用中的一些實際問題。
[9] 史駿.基于單目視覺無人機避障系統(tǒng)的算法研究［J］.計算機與數(shù) 字 工 程，2018，46（9）：1887-1893.
如下圖所示，看上去Veoneer的業(yè)務線是很強的，但問題在于各個業(yè)務是孤立的：
（1）單目視覺系統(tǒng)和雙目視覺系統(tǒng)能力：主要客戶是奔馳（SV4）和斯巴魯（SV4），吉利的KX11和EX11平臺，單目系統(tǒng)覆蓋沃爾沃和吉利的平臺；
（2）ADAS ECU和Z1S的軟件服務主要的客戶對象是沃爾沃和吉利，奔馳也使用了這塊的軟件系統(tǒng)；
如Davison 等人在 2007 年提出的單目視覺 SLAM 系統(tǒng) MonoSLAM 是第一個實時的單目 SLAM，它以擴展卡爾曼濾波為基礎，把相機的當前狀態(tài)和所有路標的信息作為狀態(tài)量來更新均值和協(xié)方差信息。SLAM 的理論在國外發(fā)展的比較早，理論比較成熟，國內在這方面起步比較晚，大部分研究都集中在 SLAM 的工程應用上，重點解決工程應用中的一些實際問題。
摘要
定位是自主機器人的一個關鍵要素.雖然深度學習在許多計算機視覺任務中取得了較大進步,但它仍然沒有較大改進提高度量視覺定位.主要障礙之一是現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡的姿態(tài)回歸方法不能推廣到以前看不到的地方
圖18 撓度計示意
圖19 撓度計的工程應用
撓度測試新技術
1.基于圖像的遠距離撓度測量方法
①單目視覺測量基本原理
單目視覺測量系統(tǒng)可以用中心透視投影的原理解釋
