雙目視覺目標檢測
關注創建者：匿名 創建時間：2021-12-30
雙目視覺目標檢測的實例教程
立體視覺測量提取算法示意圖
1）特征提取
特征檢測通常是使用加速段測試 (FAST) 算法中的特征檢測進行的，該檢測器在計算復雜性方面明顯優于其他替代方案，并且專為一致性高的多視圖特征提取而量身定制，這些屬性有利于將 FAST 角點檢測器用于在實時立體視覺中的應用。
使用稀疏特征檢測有一些固有的缺點，其中最值得注意的是無法從低紋理圖像區域收集信息，這可能會阻礙最終準確估計目標范圍的能力。范圍信息應主要從視覺子系統中提取，因為它提供比雷達更高的分辨率。為了減輕可能的負面影響，設置特征檢測閾值以產生半密集信息，即分布在視野中的數千個特征被識別為跟蹤候選。通過這種方法，可以獲得相當準確的范圍信息，而計算需求仍然比密集檢測方法低得多。
2）特征追蹤
算法運行所需的時間數據可通過狀態估計器獲得，該估計器隨時間跟蹤檢測到相應的特征，由此產生的運動信息對于運動物體分割具有重要價值。本文將詳細介紹實現的特征跟蹤框架。
①卡爾曼濾波器
檢測目標的半密集性要求對后續處理進行仔細考慮，可能數以千計的跟蹤特征需要非常有效的狀態估計器。為此，引入了卡爾曼濾波器。卡爾曼濾波器是貝葉斯濾波器遞歸方程的可實現公式，要素不是傳播完整的目標狀態密度，而是采用高斯分布進行近似，即
（9）
其中 N (x; m, P) 表示在具有均值 m 和協方差 P 的向量 x 上定義的高斯分布。卡爾曼濾波器遞歸方程的一個重要約束是它必須保留狀態分布的高斯結構。這意味著動態和測量模型必須是線性高斯變換。
展開 來源 |
AI修煉之路
介紹
三維目標檢測是自動駕駛和虛擬現實中重要的場景理解任務。考慮到激光雷達成本昂貴，本文提出一個基于立體視覺的3D目標檢測方法。針對目標深度估計是影響三維目標檢測性能的關鍵因素，提出了一種基于「實例深度感知」、「視差自適應」和「匹配代價調整」的三維包圍盒中心深度預測模塊。此外，我們的模型是一個「端到端」的學習框架，不需要多個階段或后處理算法。我們在KITTI基準上進行了詳細的實驗，與現有的基于圖像的方法相比，取得了顯著的改進。
代碼開源：https://github.com/swords123/IDA-3D
一、引言
在本工作中，我們提出了一種基于立體視覺的三維目標檢測方法，該方法在訓練過程中不依賴于激光雷達數據作為輸入或監督，而只使用帶有相應標注的三維邊界盒的RGB圖像作為訓練數據。
首先利用立體區域提議網絡(RPN)從背景中提取目標，消除其對三維目標檢測的干擾。由于對象實例的深度估計是影響三維對象檢測性能的關鍵因素，因此我們設計了一個獨立的 「實例深度感知(IDA)」 模塊來預測對象三維邊界盒的中心深度。
不像以前基于立體的方法計算圖像之間每個像素的對應關系，我們測量每個實例的對應關系，把更多關注放在對象的全局空間信息。
為了減小對遠處目標深度估計的誤差，我們根據目標的位置「自適應地調整代價體中的視差等級的范圍」，并將視差等級的均勻量化轉換為非均勻量化。「匹配代價也被重新加權」，通過懲罰對對象實例不是唯一的深度級別，并提升具有高概率的深度級別，從而使深度估計更具鑒別性。所提出的體系結構的概述如圖1所示。
展開 來源 |
知乎@黃浴、
3D視覺工坊
不小心刪掉的文章，要求補上了。其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。
單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄。
單目的測距和3-D估計靠什么？是檢測目標的Bounding Box（BB），如果無法檢測的障礙物，該系統就無法估計其距離和3-D姿態/朝向。沒有深度學習的時候，ME主要是基于BB，攝像頭標定得到的姿態和高度以及路面平直的假設估算距離。
有了深度學習，可以根據3-D的ground truth來訓練NN模型，得到3D大小和姿態估計，距離是基于平行線原理（single view metrology）得到的。不久前百度Apollo公布的單目L3解決方案講的比較清楚了，參考論文是“3D Bounding Box Estimation by Deep Learning and Geometry".
雙目當然可以算視差和深度了，即使沒有檢測出障礙物（因為有附加的深度信息，檢測器會比單目好），也會報警。問題是，雙目視覺系統估計視差沒那么容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這里是存在折衷的。
目前市場上ADAS存在的雙目視覺系統就是Subaru EyeSight，據說性能還行。
百度推出的阿波龍L4擺渡車量產100臺，就安裝了雙目系統。
展開 來源 | 點云PCL
導讀：雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。
偽激光雷達-雙目立體相機
深度學習和計算機視覺在自動駕駛系統中已經非常流行且被廣泛應用。計算機視覺領域在過去的十年里得到了迅猛的發展，特別是在障礙物檢測方面。障礙物檢測算法，如YOLO或RetinaNet提供了二維邊界框，用邊界框給出了障礙物在圖像中的位置。
目前，大多數的目標檢測算法都是基于單目RGB攝像機的，不能返回每個障礙物的距離。為了能夠返回每個障礙物的距離，工程師們將相機與激光雷達（LiDAR，光探測和測距）傳感器進行融合，后者使用激光來返回深度信息。將計算機視覺信息和激光雷達輸出進行傳感器的融合。這種方法的問題是使用激光雷達，就會導致價格昂貴。所以經常有人使用的一個雙目攝像頭進行替代，并使用幾何信息來定義每個障礙物的距離，故可以將雙目相機獲取的數據稱之為偽激光雷達
單目與雙目的比較
雙目視覺利用幾何學來構建深度圖，并將其與目標檢測相結合以獲得三維距離。那么如何利用立體視覺實現距離估計？
展開 這就是立體視覺的基本原理。
4. 博安盈雙目立體視覺系統：平行光軸的系統結構
在平行光軸的立體視覺系統中（圖三），左右兩臺攝像機的焦距及其它內部參數均相等，光軸與攝像機的成像平面垂直，兩臺攝像機的x軸重合，y軸相互平行，因此將左攝像機沿著其x軸方向平移一段距離b（稱為基線baseline）后與右攝像機重合。
由空間點A及左右兩攝像機的光心Ol、Or確定的極平面（Epipolar plane）分別與左右成像平面Cl、Cr的交線pl、pr為共軛極線對，它們分別與各自成像平面的坐標軸ul、ur平行且共線。在這種理想的結構形式中，左右攝像機配置的幾何關系最為簡單，極線已具有很好的性質，為尋找對象點A在左右成像平面上的投影點al和ar之間的匹配關系提供了非常便利的條件。
5. 雙目立體視覺智能視頻分析技術
恢復場景的3D信息是立體視覺研究中最基本的目標，為實現這一目標，一個完整的立體視覺系統通常包含六個模塊：圖像獲取、攝像機標定、特征提取、立體匹配、三維恢復和視頻分析（運動檢測、運動跟蹤、規則判斷、報警處理）。
5.1. 圖像獲取（ImageAcquisition）
數字圖像的獲取是立體視覺的信息來源。常用的立體視覺圖像一般為雙目圖像，有的采用多目圖像。圖像獲取的方式有多種，主要由具體運用的場合和目的決定。立體圖像的獲取不僅要滿足應用要求，而且要考慮視點差異、光照條件、攝像機性能和場景特點等方面的影響。
5.2. 攝像機標定（CameraCalibration）
立體視覺系統攝像機標定是指對三維場景中對象點在左右攝像機圖像平面上的坐標位置al(ul，vl)、ar(ur，vr)與其世界空間坐標A(X，Y，Z)之間的映射關系的確立，是實現立體視覺三維模型重構中基本且關鍵的一步。
5.3.
展開 
雙目視覺目標檢測的相關專題、標簽、搜索
雙目視覺目標檢測的最新內容
摘要：本文詳細介紹了一種基于人類視覺系統特性的紅外弱小目標檢測算法——Multiscale patch-based contrast measure (MPCM)。該算法通過增強目標與背景的對比度，有效檢測紅外圖像中的弱小目標，并在MATLAB環境中進行了復現與實驗驗證。
關鍵詞：紅外檢測、弱小目標、圖像處理、模式識別、自適應檢測
參考文獻：Y. Wei, X. You, and H. Li
目前，汽車覆蓋件生產質量檢查以人工檢查為主，人工檢查質量受人員技能、生產節拍、工作態度、勞動強度等因素的影響，存在質量漏檢風險，人工檢查質量也存在過檢、損傷零件等問題。隨著生產節拍的不斷提升，機器人自動化裝框的實施，人工質量檢查越來越跟不上沖壓生產發展的需要。由于人工檢查在實際應用中遇到的困難和機器視覺檢測技術的不斷發展，給沖壓生產提供了新的檢測方法。機器視覺檢測技術的優點是檢測快速、準確、
Abstract：視覺跟蹤技術是計算機視覺領域（人工智能分支）的一個重要課題，有著重要的研究意義。在軍事制導、視頻監控、機器人視覺導航、人機交互、以及醫療診斷等許多方面有著廣泛的應用前景。隨著研究人員不斷地深入研究，視覺目標跟蹤在近十幾年里有了突破性的進展，使得視覺跟蹤算法不僅僅局限于傳統的機器學習方法，更是結合了近些年人工智能熱潮
沖壓生產過程中，人工抽檢的質量檢查方式已經不能適應高速的沖壓生產節拍，具有很高的漏檢和批量不良風險。通過計算機視覺和圖像處理技術，開發沖壓件質量在線視覺檢測系統，可提高沖壓件質量檢查效率，降低人員勞動負荷。
目前整車廠主流沖壓線生產節拍大都是每分鐘12 ～18 件，每個沖壓件進行全面品質檢查大約需要8 ～10min，生產節拍遠大于品質全檢的速度，因此無法做到零件的全檢。
機器人認知技術引領者
在新興市場經濟和新型技術不斷崛起的背景下，生產出高品質且價格低廉的產品是企業發展的急切需求，然而近些年來在國內現有生產條件下生產出的產品存在著很大的問題。傳統意義上的生產需要設備處于時常工作狀態以便于隨時檢測，然而這樣的工作方式導致了設備在一定的時間內出現設備閑置的現象
來源 |
半日閑心
@知乎
過去，無需nms的目標檢測，很美很純粹，但幾乎沒人想過應用到業務上。然而經過近些年的發展，性能甚至超過了nms-base。站在2021年的尾巴，回顧nms-free的發展，期待2022有更好的發展。
本文脈絡
什么是nms，為什么需要nms
什么是nms-free，有啥好處
作者 | Aimme
出品 | 焉知
一直想通過計算機視覺的角度好好地把其在自動駕駛視覺檢測、追蹤及融合上的原理進行詳細闡述，對于下一代自動駕駛系統來說，會采用集中式方案進行攝像頭的原始感知信息輸入和原始雷達目標的輸入。對于純攝像頭的感知方案通常采用針孔相機模型進行相機標定，在本文中，將研究相機配準和雷達傳感器融合的整體過程。了解其對于掌握后續關于測量提取和傳感器校準的討論是必要的
來源 | CV研習社
導讀：3D目標檢測的主要應用場景就是自動駕駛，雖然現階段基于點云的3D目標檢測的方法的性能不斷提升，但相比于激光雷達高昂的造價以及在復雜天氣情況下的敏感性。研究人員將目光投向了基于視覺的方案，因此單目3D目標檢測逐漸成為了研究熱點。小編今天將為大家分享一篇名為Is Pseudo-Lidar needed
來源 |
AI修煉之路
介紹
三維目標檢測是自動駕駛和虛擬現實中重要的場景理解任務。考慮到激光雷達成本昂貴，本文提出一個基于立體視覺的3D目標檢測方法。針對目標深度估計是影響三維目標檢測性能的關鍵因素，提出了一種基于「實例深度感知」、「視差自適應」和「匹配代價調整」的三維包圍盒中心深度預測模塊。此外，我們的模型是一個「端到端」的學習框架，不需要多個階段或后處理算法
編者按：3D物體檢測（目標檢測）是智能汽車感知系統的重要任務。在眾多應用于智能汽車的傳感器中，相機這一視覺傳感器具有分辨率高、成本較低、部署方便等優點。基于相機RGB圖像的低成本3D物體檢測是當下學界和工業界的研究熱點。其中，相比多目視覺3D物體檢測，單目視覺3D物體檢測是更為基礎的問題，其難點在于估計物體的距離。本文將6DoF位姿估計領域常用的稠密關聯方法應用到了交通場景的單目
