雙目視覺
關注創建者：匿名 創建時間：2021-10-18
雙目視覺的實例教程
來源 |
知乎@黃浴、
3D視覺工坊
不小心刪掉的文章，要求補上了。其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。
單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄。
單目的測距和3-D估計靠什么？是檢測目標的Bounding Box（BB），如果無法檢測的障礙物，該系統就無法估計其距離和3-D姿態/朝向。沒有深度學習的時候，ME主要是基于BB，攝像頭標定得到的姿態和高度以及路面平直的假設估算距離。
有了深度學習，可以根據3-D的ground truth來訓練NN模型，得到3D大小和姿態估計，距離是基于平行線原理（single view metrology）得到的。不久前百度Apollo公布的單目L3解決方案講的比較清楚了，參考論文是“3D Bounding Box Estimation by Deep Learning and Geometry".
雙目當然可以算視差和深度了，即使沒有檢測出障礙物（因為有附加的深度信息，檢測器會比單目好），也會報警。問題是，雙目視覺系統估計視差沒那么容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這里是存在折衷的。
目前市場上ADAS存在的雙目視覺系統就是Subaru EyeSight，據說性能還行。
百度推出的阿波龍L4擺渡車量產100臺，就安裝了雙目系統。
展開 雙目立體視覺測量方法具有效率高、精度合適、系統結構簡單、成本低等優點，非常適合于制造現場的在線、非接觸產品檢測和質量控制。對運動物體（包括動物和人體形體）測量中，由于圖像獲取是在瞬間完成的，因此立體視覺方法是一種更有效的測量方法。
雙目立體視覺系統是計算機視覺的關鍵技術之一，獲取空間三維場景的距離信息也是計算機視覺研究中最基礎的內容。
雙目立體視覺的開創性工作始于上世紀的60年代中期。美國MIT的Roberts通過從數字圖像中提取立方體、楔形體和棱柱體等簡單規則多面體的三維結構，并對物體的形狀和空間關系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術的誕生。隨著研究的深入，研究的范圍從邊緣、角點等特征的提取，線條、平面、曲面等幾何要素的分析，直到對圖像明暗、紋理、運動和成像幾何等進行分析，并建立起各種數據結構和推理規則。特別是上世紀80年代初，Marr首次將圖像處理、心理物理學、神經生理學和臨床精神病學的研究成果從信息處理的角度進行概括，創立了視覺計算理論框架。這一基本理論對立體視覺技術的發展產生了極大的推動作用，在這一領域已形成了從圖像的獲取到最終的三維場景可視表面重構的完整體系，使得立體視覺已成為計算機視覺中一個非常重要的分支。
經過幾十年來的發展，立體視覺在機器人視覺、航空測繪、反求工程、軍事運用、醫學成像和工業檢測等領域中的運用越來越廣。
3. 雙目立體視覺系統
立體視覺系統由左右兩部攝像機組成。如圖二所示，圖中分別以下標l和r標注左、右攝像機的相應參數。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(ur，vr)。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。
展開 來源 | 點云PCL
導讀：雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。
偽激光雷達-雙目立體相機
深度學習和計算機視覺在自動駕駛系統中已經非常流行且被廣泛應用。計算機視覺領域在過去的十年里得到了迅猛的發展，特別是在障礙物檢測方面。障礙物檢測算法，如YOLO或RetinaNet提供了二維邊界框，用邊界框給出了障礙物在圖像中的位置。
目前，大多數的目標檢測算法都是基于單目RGB攝像機的，不能返回每個障礙物的距離。為了能夠返回每個障礙物的距離，工程師們將相機與激光雷達（LiDAR，光探測和測距）傳感器進行融合，后者使用激光來返回深度信息。將計算機視覺信息和激光雷達輸出進行傳感器的融合。這種方法的問題是使用激光雷達，就會導致價格昂貴。所以經常有人使用的一個雙目攝像頭進行替代，并使用幾何信息來定義每個障礙物的距離，故可以將雙目相機獲取的數據稱之為偽激光雷達
單目與雙目的比較
雙目視覺利用幾何學來構建深度圖，并將其與目標檢測相結合以獲得三維距離。那么如何利用立體視覺實現距離估計？
展開 1) 平行式光軸雙目視覺系統是比較理想的一種系統.在平行式光軸視覺系統中, 左右相機互相對齊, 它們的光軸也要互相平行, 形成一個共面的成像平面.由于左右相機只在軸上的位置不同, 而焦距等其他參數是相同的, 因此, 左右相機拍攝的同一物點所成的像分別在左右兩圖像上對應的對集線上, 可以較好的實現立體匹配。
2) 匯聚式光軸雙目視覺系統是將平行式光軸雙目視覺系統中的左右相機分別繞光心順時針和逆時針旋轉一定角度, 從而形成匯聚式雙目視覺系統。
1.3、多目視覺法
多目視覺是雙目視覺的一種延伸, 它是在雙目視覺的基礎上, 增加一臺或者多臺攝像機作為輔助進行測量, 從而獲得不同角度下同一物體的多對圖像。多目視覺法大多數的理論與雙目視覺法是相同的, 唯一不同的是, 多目視覺采用了三個或三個以上的攝像頭進行環境中目標物體的獲取.多目視覺的優點是當測量物體的表面傾斜的角度太大導致其中的一個或兩個CCD攝像機不能接收到漫反射光時, 其他的攝像機可繼續工作。
2、根據匹配方法分類
三維環境重建技術一直是機器視覺和數字圖像處理領域的重點研究對象, 眾多學者針對三維環境重建提出了很多不同的算法。而圖像特征信息匹配的質量在三維環境重建過程中起著十分關鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息, 并使用相應的算法在提取出的匹配信息集中尋找最佳匹配集, 根據最佳匹配集求解變換模型。
展開 視覺避障
解決機器人如何“看”的問題，也就是大家常聽到的計算機視覺（Computer Vision）。其基礎在于如何能夠從二維的圖像中獲取三維信息，從而了解我們身處的這個三維世界。
視覺識別系統通常來說可以包括一個或兩個攝像頭。單一的照片只具有二維信息，猶如2D電影，并無直接的空間感，只有靠我們自己依靠“物體遮擋、近大遠小”等生活經驗腦補。故單一的攝像頭獲取到的信息及其有限，并不能直接得到我們想要的效果（當然能夠通過一些其他手段，輔助獲取，但是此項還不成熟，并沒有大規模驗證）。類比到機器視覺中，單個攝像頭的圖片信息無法獲取到場景中每個物體與鏡頭的距離關系，即缺少第三個維度。
如下圖所示，單一的圖片具有很強的迷惑性和不確定性
雙目立體視覺猶如3D電影（左右眼看到的場景略有差異），能夠直接給人帶來強烈的空間臨場感。類比機器視覺，從單個攝像頭升級到兩個攝像頭，即立體視覺（Stereo Vision）能夠直接提供第三個維度的信息，即景深（depth），能夠更為簡單的獲取到三維信息。雙目視覺最常見的例子就是我們的雙眼：我們之所以能夠準確的拿起面前的杯子、判斷汽車的遠近，都是因為雙眼的雙目立體視覺，而3D電影、VR眼鏡的發明，也都是雙目視覺的應用。
雙目視覺的基本原理是利用兩個平行的攝像頭進行拍攝，然后根據兩幅圖像之間的差異（視差），利用一系列復雜的算法計算出特定點的距離，當數據足夠時還能生成深度圖。
其實，各個避障技術在無人機上都有用武之地，只是應用場景有所不同，特別對于前視避障而言，有些技術就不適用了。
紅外和超聲波技術，因為都需要主動發射光線、聲波，所以對于反射的物體有要求，比如：紅外線會被黑色物體吸收，會穿透透明物體，還會被其他紅外線干擾；而超聲波會被海綿等物體吸收，也容易被槳葉氣流干擾。
展開 
雙目視覺的相關專題、標簽、搜索
雙目視覺的最新內容
p><p><br></p><p>超表面 - 結構光融合的三維重建方案設計</p><p>為突破結構光技術的現有瓶頸，作者團隊提出超表面與結構光的融合方案，具體實現流程如下：</p><p><br></p><p><strong>1.超表面投影設計：</strong>設計專用超表面，可將約 20000 個隨機點投影至 4π 全空間范圍；</p><p><strong>2.深度信息計算：</strong>結合雙目視覺技術與立體匹配算法
例如3D視覺中的雙目立體視覺技術，其與機械手配合，能夠對無序堆疊的散裝零件進行準確識別及抓取。
機器視覺在工業的常見應用可以歸納為四大類：檢測、測量、識別與定位。
其配備前視、后視、下視雙目視覺感應系統和 ToF，得益于創新構型，障礙物感知范圍大幅提升，為安全飛行保駕護航。在此基礎上，APAS 4.0助力實現更好的自主路徑規劃及靈敏避障，可自動探測并躲避飛行路徑中的障礙物，在復雜場景下也能順滑飛行。
DJI Mini 3 Pro 采用DJI O3 旗艦型數字圖傳，穩定的影像傳輸讓飛行體驗更安心。
光場技術原理：在計算機圖形學領域，3D渲染演示技術的演化進程可以大致劃分成針孔相機、雙目立體視覺、光場、數字全息四個階段。
光子光場芯片是光場顯示最核心的部分，光子光場芯片是一個由多個波導組成的，將光束轉變成球面波前的光學部件，可以被看作是將2D光場變換為4D光場的數學運算器，核心技術是納米級的光學設計和加工技術。
三維布局不僅可以從雙目視覺中獲得，還可以從二維輸入的幾何推理中得到，就像人們看照片時所做的那樣。聯合圖像識別和幾何推理為雙方都提供了好處。
從幾何推理中確定的三維布局可以幫助在看不見的視角、變形和外觀的情況下引導識別。它還可以消除不合理的語義布局，并幫助識別由其三維形狀或功能定義的類別。例如，沙發中存在著巨大的類內外觀差異。然而，它們擁有共同的屬性，可以幫助識別它們。
4、結構光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產生遮擋。針對這個問題雖然可以增加投影儀或相機覆蓋被遮擋的區域，但會增加成像系統的體積，減少在Eye-in-Hand系統中應用的靈活性。
光場技術原理：在計算機圖形學領域，3D渲染演示技術的演化進程可以大致劃分成針孔相機、雙目立體視覺、光場、數字全息四個階段。
光子光場芯片是光場顯示最核心的部分，光子光場芯片是一個由多個波導組成的，將光束轉變成球面波前的光學部件，可以被看作是將2D光場變換為4D光場的數學運算器，核心技術是納米級的光學設計和加工技術。
如果我們用深度相機（如Kinect）或者雙目視覺方法，確定出每個特征點的 3D 位置。那么，直接求解這個 PnP 問題，就可以計算出物體在當前相機坐標系下的位姿。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
最后，雙目系統的計算量較大，需要算力較高的芯片來支持，一般都會采用FPGA。
雙目系統的成本介于單目和激光雷達之間，目前也有一些OEM開始采用雙目視覺來支持不同級別的自動駕駛系統，比如斯巴魯，奔馳，寶馬等。
作者 | Aimme
出品 | 焉知
一直想通過計算機視覺的角度好好地把其在自動駕駛視覺檢測、追蹤及融合上的原理進行詳細闡述，對于下一代自動駕駛系統來說，會采用集中式方案進行攝像頭的原始感知信息輸入和原始雷達目標的輸入。對于純攝像頭的感知方案通常采用針孔相機模型進行相機標定，在本文中，將研究相機配準和雷達傳感器融合的整體過程。了解其對于掌握后續關于測量提取和傳感器校準的討論是必要的
