視覺跟蹤技術的案例
一文帶你了解機器人是如何通過視覺實現目標跟蹤的！
Abstract：視覺跟蹤技術是計算機視覺領域（人工智能分支）的一個重要課題，有著重要的研究意義。在軍事制導、視頻監控、機器人視覺導航、人機交互、以及醫療診斷等許多方面有著廣泛的應用前景。隨著研究人員不斷地深入研究，視覺目標跟蹤在近十幾年里有了突破性的進展，使得視覺跟蹤算法不僅僅局限于傳統的機器學習方法，更是結合了近些年人工智能熱潮—深度學習（神經網絡）和相關濾波器等方法。本文主要介紹以下幾點：什么是視覺目標跟蹤（單目標跟蹤）、單目標跟蹤的基本結構（框架），目標跟蹤存在的挑戰，目標跟蹤經典相關方法及研究趨勢等。
01 單目標跟蹤任務簡介
目標跟蹤是計算機視覺領域的一個重要問題，目前廣泛應用在體育賽事轉播、安防監控和無人機、無人車、機器人等領域。下面是一些應用的例子。
車輛跟蹤
足球比賽
田徑比賽
視覺目標（單目標）跟蹤是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度和運動軌跡等，從而進行下一步的處理與分析，實現對運動目標的行為理解，以完成更高一級的檢測任務。
其具體任務即根據所跟蹤的視頻序列給定初始幀（第一幀）的目標狀態（位置、尺度），預測后續幀中該目標狀態。
展開 計算機視覺必讀：目標跟蹤、網絡壓縮、圖像分類、人臉識別等
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置?；趯\生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。CFNet結合離線訓練的孿生網絡和在線更新的相關濾波模塊，提升輕量級網絡的跟蹤性能。
生成式模型(generative models)
這類模型旨在學得數據(圖像)的分布，或從該分布中采樣得到新的圖像。
展開 空間視覺技術接替算法視覺推動實現完全自動駕駛
基于現有成像設備，機器視覺之算法視覺實現完全自動駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點陣，是失真不可靠的數據，算法再完美，數據不可靠，結果自然不可靠?？臻g視覺技術重塑了成像設備結構和控制方法，使其獲得完整 一 一對標的數據鏈，生成3維坐標顏色點陣，連續坐標點陣即景物輪廓，空間視覺技術重新定義的相機，使其完成從生成相片到生成場景的進化，場景實現數字孿生到平行空間飛越，實現方法從計算模擬變成實時映射。
光譜成像技術如何重塑視覺邊界？
人類對光譜的解析，既是對物理規律的解碼，也是技術創新的源泉，光譜技術始終在科學探索與實際應用間架起橋梁。未來，隨著探測器靈敏度的突破與多波段融合技術的發展，光譜分析將繼續在生命科學、材料工程、氣候變化等前沿領域釋放無限可能，成為人類認知世界、改造世界的核心工具之一。</p><p><br></p><p>?文章轉載自CMOS相機技術與應用產業園，僅分享，侵權刪。</p><p><br></p><p><br></p><figure style="text-align: center;" class="ql-align-center">
<figure class="figure-image" contenteditable="false" data-img="https://img.jishulink.com/202605/attachment/a6b9675a53524693ae5832663b6607a7.jpg" style="display: inline-block;" data-regular="true">
<img src="https://img.jishulink.com/202605/attachment/a6b9675a53524693ae5832663b6607a7.jpg" data-mobile-src="https://img.jishulink.com/202605/attachment/a6b9675a53524693ae5832663b6607a7.jpg?image_process=/format,webp" data-pc-src="https://img.jishulink.com/202605/attachment/a6b9675a53524693ae5832663b6607a7.jpg?
展開 
基于雙目視覺的自動駕駛技術
來源 |
知乎@黃浴、
3D視覺工坊
不小心刪掉的文章，要求補上了。其實雙目視覺主要問題是立體匹配和視差計算，最新的討論見：https://zhuanlan.zhihu.com/p/65130734；另外，目標檢測的雙目視覺技術討論如下：https://zhuanlan.zhihu.com/p/87074244。
單目視覺是Mobileye（ME）的看家法寶，其實當年它也考慮過雙目，最終選擇放棄。
單目的測距和3-D估計靠什么？是檢測目標的Bounding Box（BB），如果無法檢測的障礙物，該系統就無法估計其距離和3-D姿態/朝向。沒有深度學習的時候，ME主要是基于BB，攝像頭標定得到的姿態和高度以及路面平直的假設估算距離。
有了深度學習，可以根據3-D的ground truth來訓練NN模型，得到3D大小和姿態估計，距離是基于平行線原理（single view metrology）得到的。不久前百度Apollo公布的單目L3解決方案講的比較清楚了，參考論文是“3D Bounding Box Estimation by Deep Learning and Geometry".
雙目當然可以算視差和深度了，即使沒有檢測出障礙物（因為有附加的深度信息，檢測器會比單目好），也會報警。問題是，雙目視覺系統估計視差沒那么容易，立體匹配是計算機視覺典型的難題，基線寬得到遠目標測距準，而基線短得到近目標測距結果好，這里是存在折衷的。
目前市場上ADAS存在的雙目視覺系統就是Subaru EyeSight，據說性能還行。
百度推出的阿波龍L4擺渡車量產100臺，就安裝了雙目系統。
展開 慧眼識珠：機器視覺技術的工業應用與廠商巡禮
此外還有很多圍繞工業應用的機器視覺企業受到資本的青睞：思謀科技致力于將視覺AI應用于智能制造領域，已完成B輪2億美元融資；梅卡曼德是以AI+3D視覺為核心的工業機器人智能化解決方案提供商，已完成了累計超過15億元的融資；心鑒智控作為工業視覺檢測核心技術服務商，連續完成兩輪近億元融資；華睿科技聚焦在機器視覺和移動機器人技術上，獲得戰略投資2.6億元；長期致力于研發3D工業相機硬件和軟件開發平臺的圖漾信息科技也于日前完成C輪融資，為其擴大市場規模和領先優勢助力。
以下將針對中國市場上主流的機器視覺廠商和和產品/解決方案進行盤點。
國際主流廠商盤點
? 康耐視（Cognex）
康耐視公司是全球機器視覺巨頭，總部位于美國，專注于工業自動化的機器視覺業務，可提供從相機、鏡頭、光源到軟件、系統集成的全套工業視覺解決方案，涵蓋檢測、測量、識別、定位四大領域，適用2D/3D等不同場合，典型應用有：防錯產品裝配和制造、缺陷檢測、制造和物流產品的識別和跟蹤、機器人引導等，廣泛應用于半導體、電子、制藥、汽車、包裝等制造行業。
? 基恩士（KEYENCE）
基恩士于1974年成立于日本，是工廠自動化（FA）傳感器、測量儀器和圖像處理設備等產品的綜合提供商，與康耐視共同被視為全球機器視覺行業的兩大巨頭。
展開 機器人視覺三維成像技術全解析
圖6 立體視覺三維成像示意圖
立體視覺可分為被動和主動兩種形式。被動視覺成像只依賴相機接收到的由目標場景產生的光輻射信息，該輻射信息通過2D圖像像素灰度值進行度量。被動視覺常用于特定條件下的3D成像場合，如室內、目標場景光輻射動態范圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點；或者像大多數工業零部件，幾何規則明顯，控制點比較容易確定等。
主動立體視覺是利用光調制（如編碼結構光、激光調制等）照射目標場景，對目標場景表面的點進行編碼標記，然后對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結構。主動立體視覺的優點是抗干擾性能強、對環境要求不高（如通過帶通濾波消除環境光干擾），3D測量精度、重復性和可靠性高；缺點是對于結構復雜的場景容易產生遮擋問題。
基于結構光測量技術和3D物體識別技術開發的機器人3D視覺引導系統，可對較大測量深度范圍內散亂堆放的零件進行全自由的定位和拾取。相比傳統的2D視覺定位方式只能對固定深度零件進行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍。可為機床上下料、零件分揀、碼垛堆疊等工業問題提供有效的自動化解決方案。
展開 現代Ioniq5銷量跟蹤和技術動向。
從路徑來看，現代汽車可能需要從技術水平簡單一些的芯片開始，例如功率半導體、片上系統 (SoC) 和高級駕駛輔助系統 (ADAS) 芯片。
小結：我覺得現代汽車在中國的發展還是存在很大的挑戰的，但是其對電動化戰略的積極響應，以及800V系統的All in還是取得了很好的效果。
沖壓質量模板匹配視覺檢測技術應用
通過計算機視覺和圖像處理技術，開發沖壓件質量在線視覺檢測系統，可提高沖壓件質量檢查效率，降低人員勞動負荷。
目前整車廠主流沖壓線生產節拍大都是每分鐘12 ～18 件，每個沖壓件進行全面品質檢查大約需要8 ～10min，生產節拍遠大于品質全檢的速度，因此無法做到零件的全檢。沖壓質檢體制主要包括在線抽檢和線下抽檢，在線抽檢由兩名線檢人員周期性地在3 ～5s 的時間內檢查零件的部分區域，線下抽檢由兩名抽檢人員每間隔約100 件進行零件的全檢。這種檢查體制存在偶發不良漏檢和批量不良的風險，如圖1 所示，質檢人員長期重復性動作，也存在作業疲勞、檢出能力下降導致漏檢的情況。
圖1 不良漏檢和批量不良情況
隨著計算機芯片運算能力的提升以及人工智能算法的深入應用，目前已出現通過計算機視覺檢測取代人工檢查的應用案例，如一種基于深度學習的多分類缺陷監測系統，通過采集大樣本量的缺陷數據，對檢測模型進行訓練，使其能夠識別出開裂、凸凹點等缺陷，如圖2 所示。相對于深度學習的檢測系統，模板匹配檢測系統不需要大數據的訓練，即可輔助進行在線缺陷檢測，具有較高準確率，能消除人工漏檢造成的批量不良風險，降低質檢人員的作業負荷。
圖2 視覺監測凸凹點缺陷
硬件布置方案
系統的硬件部署要在現有沖壓線上增加，并盡可能減少對現有生產線的改造，故沿用了現有沖壓線的自動化方案(機械臂、傳送皮帶)，在此基礎上通過在零件傳送路徑上布置8組攝像頭和LED光源(俯視、前視、后視、側視各2 組)，實現對在線零件的圖像采集，如圖3 所示。
圖3 視覺監測布置示意圖
檢測方案
沖壓零件通過機械臂放置到傳送皮帶上，依次經過攝像頭拍攝點，零件的位置、角度是一種有序排列，如圖4 所示。
展開 一文了解目前所有的視覺三維重建技術
基于視覺的三維重建關鍵技術研究綜述. 自動化學報, 2020, 46(4): 631-652. doi: 10.16383/j.aas.2017.c170502
三維重建經過數十年的發展, 已經取得巨大的成功?；?em>視覺的三維重建在計算機領域是一個重要的研究內容, 主要通過使用相關儀器來獲取物體的二維圖像數據信息, 然后, 再對獲取的數據信息進行分析處理, 最后, 利用三維重建的相關理論重建出真實環境中物體表面的輪廓信息。基于視覺的三維重建具有速度快、實時性好等優點, 能夠廣泛應用于人工智能、機器人、無人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現實和3D打印等領域。三維重建技術的分類方法如下圖所示：
三維重建技術的分類
三維重建技術優缺點對比一覽
基于主動視覺的三維重建技術
基于主動視覺的三維重建技術主要包括激光掃描法、結構光法、陰影法和TOF技術、雷達技術、Kinect技術等。
1、激光掃描法
激光掃描法其實就是利用激光測距儀來進行真實場景的測量。首先, 激光測距儀發射光束到物體的表面, 然后, 根據接收信號和發送信號的時間差確定物體離激光測距儀的距離, 從而獲得測量物體的大小和形狀。
展開 雙目立體視覺技術涉及到的基本概念
什么是視覺
視覺是一個古老的研究課題，同時又是人類觀察世界、認知世界的重要功能和手段。人類從外界獲得的信息約有75%來自視覺系統，用機器模擬人類的視覺功能是人們多年的夢想。視覺神經生理學，視覺心里學，特別是計算機技術、數字圖像處理、計算機圖形學、人工智能等學科的發展，為利用計算機實現模擬人類的視覺成為可能。在現代工業自動化生產過程中，計算機視覺正成為一種提高生產效率和檢驗產品質量的關鍵技術之一，如機器零件的自動檢測、智能機器人控制、生產線的自動監控等;在國防和航天等領域，計算機視覺也具有較重要的意義，如運動目標的自動跟蹤與識別、自主車導航及空間機器人的視覺控制等。
人類視覺過程可以看作是一個從感覺到知覺的復雜過程，從狹義上來說視覺的最終目的是要對場景作出對觀察者有意義的解釋和描述；從廣義上說，是根據周圍的環境和觀察者的意愿，在解釋和描述的基礎上做出行為規劃或行為決策。計算機視覺研究的目的使計算機具有通過二維圖像信息來認知三維環境信息的能力，這種能力不僅使機器能感知三維環境中物體的幾何信息(如形狀、位置、姿態運動等)，而且能進一步對它們進行描述、存儲、識別與理解，計算機視覺己經發展起一套獨立的計算理論與算法。
2. 什么是計算機雙目立體視覺
雙目立體視覺(Binocular StereoVision)是機器視覺的一種重要形式，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。融合兩只眼睛獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應關系，將同一空間物理點在不同圖像中的映像點對應起來，這個差別，我們稱作視差(Disparity)圖像，如圖一。
展開 
機器視覺定位之零部件尺寸檢測技術
基于機器的零部件尺寸檢測技術，在工業生產中起著舉足輕重的作用。隨著機器視覺的應用，我們不難發現，機器視覺的應用大大的提高了產品的質量、降低了人口紅利并能在一定程度上降低生產成本，帶動生產加工業走向自動化、智能化的道路。在機器視覺的應用中，物體特征的提取和尺寸的精確定位及測量是生產線上不可替代的環節。
end
機器視覺技術在工業智能化生產中的應用
7 結語
由此可見，機器視覺技術在工業制造有著廣泛的需求，在工業領域有著較大的發展空間。機器視覺技術的利用可有效的降低生產成本，節約勞動力，提高生產效率，降低產品次品率；另外，還可以實現非接觸測量。機器視覺技術的優點如此之多，因此，對制造業領域智能化的發展也具有較大的影響。但是，現在的機器視覺技術還有待提高，許多技術難題還亟待解決，當下任務應著力解決機器視覺技術在工業
生產上的智能化、自動化應用，以便以后全面投入工業領域生產，進而為我國的現代化強國建設做出貢獻。
計算機視覺：你必須了解的圖像數據底層技術
引言
計算機視覺（Computer Vision）自興起以來就非常迅速且廣泛應用于各個領域，比如我們熟悉的且每天都會使用的基于手機攝像頭的人臉識別，除此之外，它還可以在自動駕駛領域輔助汽車識別交通信號、標志和行人；在制造業輔助工業機器人監督和指導人工操作。
計算機視覺的主要目的是讓計算機能像人類一樣甚至比人類更好地看見和識別世界。計算機視覺通常使用C++、Python和MATLAB等編程語言，是增強現實（AR）的一項重要技術。目前主流的計算機視覺工具有OpenCV、Tensorflow、Gpu、YOLO、Keras等。計算機視覺其實是一個復雜多元的交叉領域，包含了很多來自數字信號處理、神經科學、圖像處理、模式識別、機器學習(ML)、機器人、人工智能(AI)等領域的概念。
本文將具體介紹一下計算機視覺的工作流程。
什么是計算機視覺（Computer Vision）
一言蔽之，計算機視覺是讓計算機理解并標記圖像內容的技術領域。
舉個例子，請看下圖：
對于人類來說，你很難向從沒穿過衣服的原始人解釋什么是連衣裙或者什么是鞋。計算機視覺也是如此，如果它并沒有相關輸入，就不會理解上圖的東西都是什么。
所以，我們需要收集并標記大量關于衣服、鞋、包包的圖片，輸入進計算機“告訴”它這些圖片里的東西是什么，在經過不斷的學習和訓練后，計算機將會識別出哪個是連衣裙，哪個是鞋、哪個是包包。
展開 葉聰：朋友圈背后的計算機視覺技術與應用
一、朋友圈爆款活動背后的技術
今天我會從朋友圈的一些爆款的互動活動作為切入點，帶大家過一遍一些計算及視覺技術與應用，或者把AI技術產業化。我們經常在朋友圈會看到一些比較有趣的互動的活動，比如像軍裝照、武士青年這類活動視覺比較流行的應用，也是目前探索出來的計算機視覺能夠最快來到大家身邊的方式。以過去的五四青年節的活動為例，這個有趣的活動就應用了人臉檢測與人臉檢索的技術相結合。
上傳一張照片最匹配民國時候有為青年的照片，做成這種頁面供大家分享。這種模式最開始就是由騰訊開啟，現已成為了整個行業應用的參考。除了這個活動，H5這類應用往往會出現用戶訪問爆發性的增長，為了應對這種突如其來的流量暴增，使用一整套云架構部署，而不是傳統機房里面用幾臺服務器處理。比如像五四青年的活動，5萬KPS的架構就有這樣的承載能力。從個人角度想要做這樣的應用，需要了解以下的基礎知識。
二、計算機視覺定義
首先從計算機視覺的基本定義開始，學術角度來講是研究如何讓計算機從圖像和視頻中獲取高級抽象的信息的一種方法。但我比較喜歡后面這種工程角度的解釋，計算機視覺是可以使機器來模仿人類自動化?，F在我們利用計算機視覺讓整個流程更自動化，機器可以部分的代替人力去理解圖片中的一些信息。計算機視覺還包含一些子分支，現在這個分支還會慢慢擴張，這個分類也在慢慢的擴大。主要包括物體識別、對象檢測、語義分割、3D的重建，動作識別等等。
底下有幾個比較常見的視覺應用，第一個是人臉識別；第二個是無人駕駛；第三個是語義分割。語義分割在人工智能這個領域還是比較常見的。一般指詞性的分割，或者詞的分割。圖像分割里面的語義分割一般指的是把圖像里面的不同類型的對象進行標注和區分。
展開 