雙目視覺的案例
基于雙目視覺的自動駕駛技術
來源 |
知乎@黃浴、
3D視覺工坊
不小心刪掉的文章，要求補上了。其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。
單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄。
單目的測距和3-D估計靠什么？是檢測目標的Bounding Box（BB），如果無法檢測的障礙物，該系統就無法估計其距離和3-D姿態/朝向。沒有深度學習的時候，ME主要是基于BB，攝像頭標定得到的姿態和高度以及路面平直的假設估算距離。
有了深度學習，可以根據3-D的ground truth來訓練NN模型，得到3D大小和姿態估計，距離是基于平行線原理（single view metrology）得到的。不久前百度Apollo公布的單目L3解決方案講的比較清楚了，參考論文是“3D Bounding Box Estimation by Deep Learning and Geometry".
雙目當然可以算視差和深度了，即使沒有檢測出障礙物（因為有附加的深度信息，檢測器會比單目好），也會報警。問題是，雙目視覺系統估計視差沒那么容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這里是存在折衷的。
目前市場上ADAS存在的雙目視覺系統就是Subaru EyeSight，據說性能還行。
百度推出的阿波龍L4擺渡車量產100臺，就安裝了雙目系統。
展開 雙目立體視覺技術涉及到的基本概念
雙目立體視覺測量方法具有效率高、精度合適、系統結構簡單、成本低等優點，非常適合于制造現場的在線、非接觸產品檢測和質量控制。對運動物體（包括動物和人體形體）測量中，由于圖像獲取是在瞬間完成的，因此立體視覺方法是一種更有效的測量方法。
雙目立體視覺系統是計算機視覺的關鍵技術之一，獲取空間三維場景的距離信息也是計算機視覺研究中最基礎的內容。
雙目立體視覺的開創性工作始于上世紀的60年代中期。美國MIT的Roberts通過從數字圖像中提取立方體、楔形體和棱柱體等簡單規則多面體的三維結構，并對物體的形狀和空間關系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術的誕生。隨著研究的深入，研究的范圍從邊緣、角點等特征的提取，線條、平面、曲面等幾何要素的分析，直到對圖像明暗、紋理、運動和成像幾何等進行分析，并建立起各種數據結構和推理規則。特別是上世紀80年代初，Marr首次將圖像處理、心理物理學、神經生理學和臨床精神病學的研究成果從信息處理的角度進行概括，創立了視覺計算理論框架。這一基本理論對立體視覺技術的發展產生了極大的推動作用，在這一領域已形成了從圖像的獲取到最終的三維場景可視表面重構的完整體系，使得立體視覺已成為計算機視覺中一個非常重要的分支。
經過幾十年來的發展，立體視覺在機器人視覺、航空測繪、反求工程、軍事運用、醫學成像和工業檢測等領域中的運用越來越廣。
3. 雙目立體視覺系統
立體視覺系統由左右兩部攝像機組成。如圖二所示，圖中分別以下標l和r標注左、右攝像機的相應參數。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(ur，vr)。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。
展開 自動駕駛汽車的偽激光雷達-雙目立體視覺
來源 | 點云PCL
導讀：雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。
偽激光雷達-雙目立體相機
深度學習和計算機視覺在自動駕駛系統中已經非常流行且被廣泛應用。計算機視覺領域在過去的十年里得到了迅猛的發展，特別是在障礙物檢測方面。障礙物檢測算法，如YOLO或RetinaNet提供了二維邊界框，用邊界框給出了障礙物在圖像中的位置。
目前，大多數的目標檢測算法都是基于單目RGB攝像機的，不能返回每個障礙物的距離。為了能夠返回每個障礙物的距離，工程師們將相機與激光雷達（LiDAR，光探測和測距）傳感器進行融合，后者使用激光來返回深度信息。將計算機視覺信息和激光雷達輸出進行傳感器的融合。這種方法的問題是使用激光雷達，就會導致價格昂貴。所以經常有人使用的一個雙目攝像頭進行替代，并使用幾何信息來定義每個障礙物的距離，故可以將雙目相機獲取的數據稱之為偽激光雷達
單目與雙目的比較
雙目視覺利用幾何學來構建深度圖，并將其與目標檢測相結合以獲得三維距離。那么如何利用立體視覺實現距離估計？
展開 一文了解目前所有的視覺三維重建技術
1) 平行式光軸雙目視覺系統是比較理想的一種系統.在平行式光軸視覺系統中, 左右相機互相對齊, 它們的光軸也要互相平行, 形成一個共面的成像平面.由于左右相機只在軸上的位置不同, 而焦距等其他參數是相同的, 因此, 左右相機拍攝的同一物點所成的像分別在左右兩圖像上對應的對集線上, 可以較好的實現立體匹配。
2) 匯聚式光軸雙目視覺系統是將平行式光軸雙目視覺系統中的左右相機分別繞光心順時針和逆時針旋轉一定角度, 從而形成匯聚式雙目視覺系統。
1.3、多目視覺法
多目視覺是雙目視覺的一種延伸, 它是在雙目視覺的基礎上, 增加一臺或者多臺攝像機作為輔助進行測量, 從而獲得不同角度下同一物體的多對圖像。多目視覺法大多數的理論與雙目視覺法是相同的, 唯一不同的是, 多目視覺采用了三個或三個以上的攝像頭進行環境中目標物體的獲取.多目視覺的優點是當測量物體的表面傾斜的角度太大導致其中的一個或兩個CCD攝像機不能接收到漫反射光時, 其他的攝像機可繼續工作。
2、根據匹配方法分類
三維環境重建技術一直是機器視覺和數字圖像處理領域的重點研究對象, 眾多學者針對三維環境重建提出了很多不同的算法。而圖像特征信息匹配的質量在三維環境重建過程中起著十分關鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息, 并使用相應的算法在提取出的匹配信息集中尋找最佳匹配集, 根據最佳匹配集求解變換模型。
展開 
無人機自動避障技術
視覺避障
解決機器人如何“看”的問題，也就是大家常聽到的計算機視覺（Computer Vision）。其基礎在于如何能夠從二維的圖像中獲取三維信息，從而了解我們身處的這個三維世界。
視覺識別系統通常來說可以包括一個或兩個攝像頭。單一的照片只具有二維信息，猶如2D電影，并無直接的空間感，只有靠我們自己依靠“物體遮擋、近大遠小”等生活經驗腦補。故單一的攝像頭獲取到的信息及其有限，并不能直接得到我們想要的效果（當然能夠通過一些其他手段，輔助獲取，但是此項還不成熟，并沒有大規模驗證）。類比到機器視覺中，單個攝像頭的圖片信息無法獲取到場景中每個物體與鏡頭的距離關系，即缺少第三個維度。
如下圖所示，單一的圖片具有很強的迷惑性和不確定性
雙目立體視覺猶如3D電影（左右眼看到的場景略有差異），能夠直接給人帶來強烈的空間臨場感。類比機器視覺，從單個攝像頭升級到兩個攝像頭，即立體視覺（Stereo Vision）能夠直接提供第三個維度的信息，即景深（depth），能夠更為簡單的獲取到三維信息。雙目視覺最常見的例子就是我們的雙眼：我們之所以能夠準確的拿起面前的杯子、判斷汽車的遠近，都是因為雙眼的雙目立體視覺，而3D電影、VR眼鏡的發明，也都是雙目視覺的應用。
雙目視覺的基本原理是利用兩個平行的攝像頭進行拍攝，然后根據兩幅圖像之間的差異（視差），利用一系列復雜的算法計算出特定點的距離，當數據足夠時還能生成深度圖。
其實，各個避障技術在無人機上都有用武之地，只是應用場景有所不同，特別對于前視避障而言，有些技術就不適用了。
紅外和超聲波技術，因為都需要主動發射光線、聲波，所以對于反射的物體有要求，比如：紅外線會被黑色物體吸收，會穿透透明物體，還會被其他紅外線干擾；而超聲波會被海綿等物體吸收，也容易被槳葉氣流干擾。
展開 基于雙目視覺的目標檢測與追蹤方案詳解
作者 | Aimme
出品 | 焉知
一直想通過計算機視覺的角度好好地把其在自動駕駛視覺檢測、追蹤及融合上的原理進行詳細闡述，對于下一代自動駕駛系統來說，會采用集中式方案進行攝像頭的原始感知信息輸入和原始雷達目標的輸入。對于純攝像頭的感知方案通常采用針孔相機模型進行相機標定，在本文中，將研究相機配準和雷達傳感器融合的整體過程。了解其對于掌握后續關于測量提取和傳感器校準的討論是必要的。
單/雙目相機標定基本原理
將相機信息與物理世界相關聯，需要描述 3D 世界坐標和圖像坐標之間數學關系的模型，計算機視覺中最簡單的此類模型是針孔相機模型（如下圖）。
圖1 相機模型模型的投影
針孔模型中的圖像形成是通過假設一個無限小的孔徑來解釋的，因此用了針孔這個術語。考慮上圖中所有光線會聚在光學中心上，該中心與相機參考系的原點重合，光心到像面上主點c的距離等于焦距f，來自點 p = [x,y,z] T的光線穿過光學中心，從而投影到位于圖像平面上的點 p’ = [x’ ,y’ ,z’] T 。相似三角形的原理規定，點 [x,y,z] T 被映射到圖像平面上的點 p’ = [fx/z, fy/z, f] T 。忽略深度，該投影由 R3 （三維）到
R
2（二維）映射給出，即
（1）
引入齊次坐標，如上圖像點信息可以改寫為矩陣形式，其中K表示相機校準矩陣。
（2）
方程 (2) 提供了將 3D 空間中的點轉換為圖像坐標的框架。通常，圖像平面上的點 p’ 將根據像素坐標來尋找。
展開 極目機器人完成數億元C輪融資，加強研發投入和國內市場布局
2021年4月27日，全球領先的視覺技術和AI智控高新技術企業蘇州極目機器人科技有限公司宣布完成數億元C輪融資，本輪融資由淡馬錫、中信農業基金、食芯資本Bits x Bites領投，聯合投資方包括巴斯夫、康地谷物公司、百果園、元禾控股、中方財團致道資本、崇山資本、永鑫方舟（排序不按排名先后）。本輪融資將主要用于加強研發投入和加速國內外市場布局。
以核心技術突破“無人區”，解決“人所不能”的痛點問題
極目機器人以視覺和智能控制為核心技術，成功將三維機器視覺、自主駕駛和控制、AI圖像識別、精準變量噴灑等前沿技術應用在全域感知智能植保無人機、智能農機裝備、精準數字農林業上。其中雙目視覺感知是全球領先的、率先實現戶外復雜環境規模化使用的核心技術，突破了四大技術難題：在線校準技術、三維地圖表象技術、實時并行處理技術、基于神經網絡的立體視覺算法。
極目在農林業領域的技術應用意義重大，突破了丘陵山地、農林經作復雜地形和環境下無機可用的行業痛點。通過雙目視覺“鷹眼系統”技術，克服了過往經濟作物在丘陵山地地帶因信號不穩、地形復雜產生的飛行安全問題，實現無人機“全地形、全自主、免測繪” 植保作業；在噴灑應用上，極目以優異的自主避障和仿地飛行能力，可在距離作物一米內高度進行變量精準噴灑；獨創CCMS常溫彌霧將噴灑粒徑細化至最小20微米，解決植保無人機”打不穿、打不透、打不勻”的行業痛點。
科技賦能助力產業降本增效、實現高質量發展
當前，我國正面臨著農林業人口勞動力短缺、老齡化，丘陵山地機械化程度低，生產安全和效率低等種種挑戰。極目的智能裝備及全程作物解決方案，為傳統行業和廣大農林業從業者帶來了更為安全、精準、高效、輕簡化和長期可持續的智能工具和解決方案。
展開 無人機裝上激光炮，10秒清理障礙物！
為了攻克這個難關，研發團隊研制了單輪落線機構和輔助落線系統，通過“雙目視覺＋超聲”輔助落線系統的實時測距功能，輔助無人機精準落線及復飛，落線后可在25度的坡度線路上行走。
該無人機自地面起飛后，可通過第一視角攝像頭靠近線路，落線后啟動滾輪行走至障礙物附近，使用加熱電阻絲在30秒內清除燃點在500攝氏度以下的障礙物，相比傳統5－8小時的人工停電作業，工作效率大大提高。
“在努力實現‘機巡為主，人巡為輔’的智能化、可視化巡檢的同時，積極推動電力行業專用無人機產業化升級。”余鵬對此信心滿滿。（來源：南方網）
大疆無人機飛行感知技術有什么用途
深度感知攝像頭根據測量技術可以分為三種，立體攝像頭，也叫雙目視覺技術，代表產品就是大疆的精靈4；結構光技術，代表產品有微軟的Kinect；時差測距技術（TOF），由于生產廠家較少而且成本較高，因此在無人機上的應用很少。深度感知攝像頭在使用時也存在局限性，雙目視覺技術的缺點是在低光環境下無法正常工作，而結構光技術則與之相反，在強光下無法正常工作。因此有的廠家把兩種技術進行組合，彌補彼此的缺陷，擴大其適用的環境范圍。
提高測量精度的方法
傳感器校準
傳感器校準，包括精校準和粗校準。精校準效果比較好，但需要昂貴的標定設備；粗校準則不需要借助外部設備，只對傳感器本身進行操作即可。
以磁羅盤的粗校準為例，由于地球上任意位置的地磁場強度在較長時間跨度內都可視為是恒定的，當轉動磁羅盤時，根據相對運動可假設磁羅盤固定不動，而地磁場矢量隨之在轉動，其矢量端點在空間的軌跡應為一個標準的球體，但由于傳感器存在誤差，實際測出的數據并不嚴格都在球體的表面，這時候就需要根據測量出來的數值以及已知的準確值來計算兩者之間的換算關系，也就是該款磁羅盤的誤差模型。在以后使用該款磁羅盤時就可以根據粗校準得出的誤差模型來處理測量值，使得測量值的誤差減小。
磁羅盤校準（SGB sbgcenter）
多種傳感器數據融合
不同類型的傳感器數據融合方法有多種，在業內用的比較普遍而且效果也比較好的是EKF，也就是擴展卡爾曼濾波。
以計算飛機姿態角的融合方法為例，EKF更新過程主要分為兩個部分，預測更新和量測更新。預測更新主要利用陀螺儀更新預測狀態量，同時計算該狀態量的協方差矩陣。在量測更新中先會計算濾波增益，然后使用濾波增益融合預測狀態量、加速度計以及磁羅盤的數據，成為一個融合狀態量，同時計算融合狀態量的協方差矩陣，在下一次更新周期的計算中使用。
展開 淺談無人機的飛行感知模塊
深度感知攝像頭根據測量技術可以分為三種，立體攝像頭，也叫雙目視覺技術，代表產品就是大疆的精靈4；結構光技術，代表產品有微軟的Kinect；時差測距技術（TOF），由于生產廠家較少而且成本較高，因此在無人機上的應用很少。深度感知攝像頭在使用時也存在局限性，雙目視覺技術的缺點是在低光環境下無法正常工作，而結構光技術則與之相反，在強光下無法正常工作。因此有的廠家把兩種技術進行組合，彌補彼此的缺陷，擴大其適用的環境范圍。
提高測量精度的方法
1、傳感器校準
傳感器校準，包括精校準和粗校準。精校準效果比較好，但需要昂貴的標定設備；粗校準則不需要借助外部設備，只對傳感器本身進行操作即可。
以磁羅盤的粗校準為例，由于地球上任意位置的地磁場強度在較長時間跨度內都可視為是恒定的，當轉動磁羅盤時，根據相對運動可假設磁羅盤固定不動，而地磁場矢量隨之在轉動，其矢量端點在空間的軌跡應為一個標準的球體，但由于傳感器存在誤差，實際測出的數據并不嚴格都在球體的表面，這時候就需要根據測量出來的數值以及已知的準確值來計算兩者之間的換算關系，也就是該款磁羅盤的誤差模型。在以后使用該款磁羅盤時就可以根據粗校準得出的誤差模型來處理測量值，使得測量值的誤差減小。
磁羅盤校準（SGB sbgcenter）
2、多種傳感器數據融合
不同類型的傳感器數據融合方法有多種，在業內用的比較普遍而且效果也比較好的是EKF，也就是擴展卡爾曼濾波。
以計算飛機姿態角的融合方法為例，EKF更新過程主要分為兩個部分，預測更新和量測更新。
展開 又一次自我革新！大疆 Mavic Air 無人機正式登場
但是，Mavic Air 最大飛行速度在運動模式下可達 68.4 千米每小時，同時具備前、后、下三向的雙目視覺傳感器。此外，Mavic Air 動力系統強勁，官方稱其良好的抗風性能使其在最高 5000 米的高海拔地區仍能正常工作。
Mavic Air 相比 Mavic Pro 更加圓潤，更有層次感，據悉它參考了空氣動力學，飛行時可降低風阻。
顏色上，Mavic Air 首發有黑、白、紅三色可選。價格方面，Mavic Air 普通套裝 4999 元（含遙控器、槳葉保護罩、收納包、備用遙控器搖桿），全能套裝 6399 元（配備額外 2 塊智能飛行電池、2 對快拆螺旋槳、出行單肩包、充電管家等配件），將于 1 月 28 日開始正式發售。
展開 
Face ID 與3D傳感技術科普
被動測距按照使用的視覺傳感器數量可分為單目視覺、雙目立體視覺和多目視覺三大類。
單目視覺
單目視覺是指僅利用一臺照相機拍攝一張相片來進行測量。因僅需要一臺相機，所以該方法的優點是結構簡單、相機標定容易，同時還避免了立體視覺的小視場問題和匹配困難問題。
單目視覺方法又可分聚焦法和離焦法兩類。聚焦法是指首先使相機相對于被測點處于聚焦位置，然后根據透鏡成像公式求得被測點相對于相機的距離。相機偏離聚焦位置會帶來測量誤差，因此尋求精確的聚焦位置是關鍵所在。而離焦法不要求相機相對于被測點處于聚焦位置，而是根據標定出的離焦模型計算被測點相對于相機的距離，這樣就避免了由于尋求精確的聚焦位置而降低測量效率的問題，但離焦模型的準確標定是該方法的主要難點。
雙目立體視覺
雙目立體視覺的基本原理是從兩個視點觀察同一景物，以獲取在不同視角下的感知圖像，然后通過三角測量原理計算圖像像素間的位置偏差(視差)來獲取景物的三維信息。這一過程與人類視覺感知過程是類似的。
在雙目立體視覺系統的硬件結構中，通常采用兩個攝像機作為視覺信號的采集設備，通過雙輸入通道圖像采集卡與計算機連接，把攝像機采集到的模擬信號經過采樣、濾波、強化、模數轉換，最終向計算機提供圖像數據。一個完整的雙目立體視覺系統通常可分為數字圖像采集、相機標定、圖像預處理與特征提取、圖像校正、立體匹配、三維重建六大部分。
多目立體視覺
多目立體視覺系統是對雙目視覺系統的一種拓展。
展開 自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 超表面賦能結構光三維重建 | 實現超大視場高精度實時重建
</p><p><strong>3.結構光技術：</strong>伴隨衍射光學的發展，該技術可無需機械掃描直接在空間生成隨機點陣，有效彌補純視覺與激光雷達的技術短板。但當前結構光技術仍面臨系統厚度大、視場角小的關鍵問題。
芯片供應短缺和云漢芯城
平臺上游合作廠商近千家，下游服務用戶數超過40萬，電子元器件SPU基礎數據庫超過2800萬種，可以提供的服務包括：
元器件一站式采購平臺
主動器件、被動器件、連接器、國產器件一站式
超1.6億條實時庫存，云倉現貨2小時出庫
100%原廠正品保障，一對一專屬客戶快速響應
FAE團隊專業技術支持，企業客戶先貨后款
PCBA工程服務
專注中小批量生產、研發項目小批量打樣
BOM智能配單：大數據平臺、一站式配齊、2小時發貨
PCB打樣：快板樣板、個性化服務、專業支持
SMT貼片：數字化工廠、全流程優化、快速高效
電子產品方案設計服務
無線通信解決方案：通用通信模塊產品、復雜通信產品設計、工作CPE產品、行業應用DTU
行業應用解決方案：溫度傳感器、雙目視覺傳感器、電源模塊、定制開發產品、核心板開發
展開 