單目視覺系統的案例
單目視覺系統檢測車輛的測距方法（Mobileye單目測距等7種方法）
作者 |
CV_Community
來源 |
計算機視覺社區
本文還是在傳統機器視覺的基礎上討論單目測距，深度學習直接估計深度圖不屬于這個議題，主要通過mobileye的論文管中窺豹，相信離實際工程應用還有很遠。
以前提過單目測距的問題，檢測的障礙物2-D框加上攝像頭的姿態和路面假設。以下根據公開發布的論文討論具體的算法：
注：
深度學習直接估計深度圖不屬于這個議題。
1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy
著名的Mobileye論文，先看成像幾何如圖：
本車A，前方車B和C，攝像頭P焦距f，高度H，和障礙物B/C距離Z1/Z2，B/C檢測框著地點在圖像的投影是y1/y2。那么y=fH/Z，所以Z=fH/y。下面是三個不同距離的估計結果：
精度測量得到：90米誤差大約10%, 44米誤差約為5%。
展開 基于重建和不確定性傳播的單目視覺3D物體檢測
編者按：3D物體檢測（目標檢測）是智能汽車感知系統的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯方法應用到了交通場景的單目3D物體檢測，并引入了不確定性傳播，可以描述物體位置的不確定性。針對深度回歸問題中偶然不確定性的估計，本文提出了魯棒KL損失，顯著提升了檢測精度，對于一般的不確定性估計網絡有借鑒價值。
摘要：
單目視覺3D物體檢測的主要難點在于物體在3D空間中的定位。近年關于6DoF位姿估計的研究表明，預測圖像與物體3D模型之間的2D-3D稠密關聯（Dense Correspondence）并使用PnP算法求解物體位姿，可以取得很高的定位精度。然而，在這些研究中，模型的訓練均依賴物體的3D模型真值，這一條件在真實的室外場景中難以滿足。為解決這一問題，本文提出了MonoRUn檢測算法，以自監督的形式學習稠密關聯和物體幾何，這一過程中僅需用到物體的3D框標注。本文使用基于不確定性的區域重建網絡回歸與2D像素相關聯的3D坐標。自監督訓練是指將3D坐標重投影以重構圖像的2D坐標。為優化重投影誤差并考慮其不確定性，本文提出了魯棒KL損失。在測試階段，網絡預測的不確定性將傳播至所有下游模塊。具體而言，模型使用不確定性PnP算法估計物體的位姿及其協方差。
展開 CMRNet++：在激光雷達地圖中與地圖和相機無關的單目視覺定位
摘要
定位是自主機器人的一個關鍵要素.雖然深度學習在許多計算機視覺任務中取得了較大進步,但它仍然沒有較大改進提高度量視覺定位.主要障礙之一是現有的基于卷積神經網絡的姿態回歸方法不能推廣到以前看不到的地方,我們最近推出的CMRNet通過在激光雷達地圖中啟用地圖獨立單目定位有效地解決了這一限制.在本文中,我們現在通過引入CMRNet++.
CMRNet++是一個顯著更魯棒的模型,它不僅有效地推廣到新的地方,而且獨立于相機參數.我們通過將深度學習與幾何技術相結合,并將度量推理移出學習過程來實現這一能力.這樣網絡的權重就不會綁定到特定的攝像頭.在三個具有挑戰性的自主駕駛數據集(即KITTI、Argoverse和Lyft5)上對CMRNet++進行的廣泛評估表明,CMRNet++的性能遠遠優于CMRNet以及其他系統.更重要的是,我們首次展示了深度學習方法的能力,無需在全新的環境中進行任何再訓練或微調,就能準確定位,并且不受攝像機參數的影響.
介紹
自動移動機器人，如自動駕駛汽車，需要精確定位才能安全導航。雖然全球導航衛星系統提供全球定位，但其精度和可靠性不足以用于機器人導航。
展開 越來越少的Tier 1——從Magna收購Veoneer說起
如下圖所示，看上去Veoneer的業務線是很強的，但問題在于各個業務是孤立的：
（1）單目視覺系統和雙目視覺系統能力：主要客戶是奔馳（SV4）和斯巴魯（SV4），吉利的KX11和EX11平臺，單目系統覆蓋沃爾沃和吉利的平臺；
（2）ADAS ECU和Z1S的軟件服務主要的客戶對象是沃爾沃和吉利，奔馳也使用了這塊的軟件系統；
（3）毫米波雷達（77GHz和24GHz）方面主要客戶是吉普、福特、吉利、沃爾沃、本田、奔馳，但是這個業務是白熱化的；
（4）Veoneer的DMS駕駛員狀態監測系統，用在吉普和福特兩個北美客戶上；
（5）其他還有潛在的激光雷達（Velodyne代工廠）和高精度地圖。
產品確實是在走量，但是完全沒有如之前規劃的，可以協同進行、并爭取更高的毛利。
圖3 Veonner的產品線
我覺得最大的問題在于，目前Veoneer的業務是整車企業和其他大的Tier1重金投入的地方，你要保持業務的護城河，確保未來還能做下去，就需要持續地投入（2019年研發及工程開支5.62億美元，2020年壓低到4.07億美元，2021年還需要繼續投入）。業務量短期內不會大幅增長，虧損一直在繼續，卻還需要繼續投入，這個局面就變得進退兩難。
第二部分 Magna的購買
如前面所說的，現在汽車電子的投入，只能是那些有錢的Tier 1才能玩得轉的事情。麥格納2020年收入326億美元，整體的銷售會在2021年恢復。
展開 
如何提升橋梁荷載試驗的準確性和穩定性？
圖18 撓度計示意
圖19 撓度計的工程應用
撓度測試新技術
1.基于圖像的遠距離撓度測量方法
①單目視覺測量基本原理
單目視覺測量系統可以用中心透視投影的原理解釋，如圖20所示。被測量的物體表面反射的光線,經過一個針孔投射到成像平面上，物像點的大地實際坐標（x，y，z）和對應的相機成像面的坐標在幾何光路中構成一定的關系，實際的坐標經過一步的旋轉和一步的平移,可以得到其在相機平面的坐標。
圖20 成像模型示意
②撓度測量系統方案
該系統主要由工業CCD、長焦鏡頭、標靶和軟件系統組成。當安裝在橋梁上的標靶產生豎向位移時，工業CCD和長焦鏡頭高頻采集標靶上的數字化圖像，計算機對采集到的圖像進行同步處理，計算出圖像中標靶中心坐標的位移。由于已知標靶中心點的實際距離和實際坐標，通過計算采集的圖像標志點的像素距離，得到像素距離和實際距離的轉換參數，從而將測量得到的標志點的像素位移轉換為實際距離。其轉化關系如下：
轉換參數（mm/pixel）=實際距離（mm）/像素距離（pixel）
通過換算就可以得到標靶的實際位移，從而得到橋梁的撓度變化值。經過后續處理能夠觀測待測點的靜態位移和動態位移，觀測實時數據和曲線。
展開 高精地圖構建與SLAM感知優化建圖策略
圖片來源：地平線
如上圖表示了一種典型的視覺SLAM技術方案框圖，其中整個智能駕駛攝像頭（包含前視、側視、環視以及后視攝像頭等）形成SLAM的輸入數據端，使用單目相機的 SLAM 稱為單目視覺 SLAM，單目相機使用一個攝像頭進行移動機器人的定位，由于單目攝像頭只能獲取周圍環境的二維信息，無法給出物體的深度信息，因此會帶來尺度不確定的問題。使用雙目相機的 SLAM 稱為雙目視覺 SLAM，也稱為立體視覺 SLAM，它可以通過比較兩個攝像頭圖像的差異判斷物體的遠近，獲得物體的深度信息。通過中央處理器對輸入圖像進行感知、分割、檢測、跟蹤等操作，輸出給導航網絡端進行語義建圖及匹配定位，同時通過目標識別形成相應的ADAS系統目標屬性。最后分兩方面進行輸出：其一是通過太網連接高精地圖盒子，其接收到相應的局部地圖建圖結果后，更新地圖底圖。其二是通過輸出給MCU（微處理器單元）進行融合定位及車輛控制。這里需要注意的是MCU通過CAN網絡也接收了諸如GNSS、IMU等相關信息，并輸入給AI芯片進行建圖優化和確認。
同時，先進的SLAM方案通過云端多源 V2X 感知部署，打造安全出行解決方案。一方面，通過創新模式與路方合作，利用既有道路信息基礎能力，有效整合路側信息，通過個體級車輛的交通場景感知算法，實施云端 V2X 信息處理，通過導航地圖優勢，為實時建圖提供統一入口。另一方面，由于車路協同系統中將產生大量數據采集和處理，為進一步挖掘相關數據價值，提升智慧出行效率。基于大數據和人工智能能力，可以對相關數據進行人工智能模型訓練，從而進一步提高建圖能力，優化建圖精度。如下圖是一種典型的將云端數據納入到建圖過程中的例子。
展開 高精地圖構建與SLAM感知優化建圖策略
如上圖表示了一種典型的視覺SLAM技術方案框圖，其中整個智能駕駛攝像頭（包含前視、側視、環視以及后視攝像頭等）形成SLAM的輸入數據端，使用單目相機的 SLAM 稱為單目視覺 SLAM，單目相機使用一個攝像頭進行移動機器人的定位，由于單目攝像頭只能獲取周圍環境的二維信息，無法給出物體的深度信息，因此會帶來尺度不確定的問題。使用雙目相機的 SLAM 稱為雙目視覺 SLAM，也稱為立體視覺 SLAM，它可以通過比較兩個攝像頭圖像的差異判斷物體的遠近，獲得物體的深度信息。通過中央處理器對輸入圖像進行感知、分割、檢測、跟蹤等操作，輸出給導航網絡端進行語義建圖及匹配定位，同時通過目標識別形成相應的ADAS系統目標屬性。最后分兩方面進行輸出：其一是通過太網連接高精地圖盒子，其接收到相應的局部地圖建圖結果后，更新地圖底圖。其二是通過輸出給MCU（微處理器單元）進行融合定位及車輛控制。這里需要注意的是MCU通過CAN網絡也接收了諸如GNSS、IMU等相關信息，并輸入給AI芯片進行建圖優化和確認。
同時，先進的SLAM方案通過云端多源 V2X 感知部署，打造安全出行解決方案。一方面，通過創新模式與路方合作，利用既有道路信息基礎能力，有效整合路側信息，通過個體級車輛的交通場景感知算法，實施云端 V2X 信息處理，通過導航地圖優勢，為實時建圖提供統一入口。另一方面，由于車路協同系統中將產生大量數據采集和處理，為進一步挖掘相關數據價值，提升智慧出行效率。基于大數據和人工智能能力，可以對相關數據進行人工智能模型訓練，從而進一步提高建圖能力，優化建圖精度。如下圖是一種典型的將云端數據納入到建圖過程中的例子。
基于激光雷達的SLAM基礎建圖構建
除了如上所述的視覺SLAM建圖以外，還包括了激光雷達數據建圖。
展開 無人機協同控制研究綜述
[9] 史駿.基于單目視覺無人機避障系統的算法研究［J］.計算機與數 字 工 程，2018，46（9）：1887-1893.（SHI J.Research on algorithm of obstacle avoidance system of UAV based on monocular vision［J］.Computer and Digital Engineering，2018，46（9）：1887-1893.）
[10] 周曉妹.試論無人機遙感技術在測繪工程測量中的應用［J］.居舍，2019（20）：196.（ZHOU X M.The application of UAV remote sensing technology in surveying and mapping engineering［J］.Calmato Residence，2019（20）：196.）
[11] 楊雪棟，金榮，云美清，等.無人機在我國林業上應用概述［J］.內蒙古林業調查設計，2019，42（4）：61-63.（YANG X D，JIN R，YUN M Q，et al.Overview of the application of UAV in forestry in China［J］.Inner Mongolia Forestry Investigation and Design，2019，42（4）：61-63.）
[12] 成浩浩，楊森，齊曉慧.面向城市環境的四旋翼無人機在線避障航跡規劃方法［J］.計算機科學，2019，46（4）：241-246.
展開 