模板匹配的案例
沖壓質量模板匹配視覺檢測技術應用
相對于深度學習的檢測系統，模板匹配檢測系統不需要大數據的訓練，即可輔助進行在線缺陷檢測，具有較高準確率，能消除人工漏檢造成的批量不良風險，降低質檢人員的作業負荷。
圖2 視覺監測凸凹點缺陷
硬件布置方案
系統的硬件部署要在現有沖壓線上增加，并盡可能減少對現有生產線的改造，故沿用了現有沖壓線的自動化方案(機械臂、傳送皮帶)，在此基礎上通過在零件傳送路徑上布置8組攝像頭和LED光源(俯視、前視、后視、側視各2 組)，實現對在線零件的圖像采集，如圖3 所示。
圖3 視覺監測布置示意圖
檢測方案
沖壓零件通過機械臂放置到傳送皮帶上，依次經過攝像頭拍攝點，零件的位置、角度是一種有序排列，如圖4 所示。根據這個特點，開發一種圖像處理程序，以一組合格的零件圖像為模板，將攝像頭拍攝到的圖片和模板對比，存在差異的位置判斷為缺陷，實現開裂、多(少)孔、材料劃傷夾雜等品質缺陷的識別。檢測程序的主要流程如圖5 所示。
圖4 模板匹配檢測原理示意圖
圖5 模板匹配檢測流程
檢測過程是一個采集攝像頭圖像并進行圖像處理(基于開源計算機視覺和機器學習軟件庫OpenCV 的圖像處理)的過程，計算機所處理的圖像，其實是一個由一系列范圍在[0，255]區間的灰度值組成的二維矩陣。下面以一個前地板零件的檢測過程為案例，對檢測過程和效果進行說明，為了驗證識別效果，模板圖片比實際零件少了一個孔，如圖6 紅色箭頭位置所示。
圖6 視頻采集圖像和模板圖像的相似度
步驟1 ～步驟2：程序對每一幀的圖片和模板圖片進行相似度分析，得到一個區間在[0.0，1.0]范圍的計算結果，0 表示完全一樣，1 表示兩張圖像完全不同。程序會選擇相似度最小值的圖片，進入到下一個計算步驟。
展開 40基于MATLAB，使用模板匹配法實現車牌的識別 ￥55.9
基于MATLAB，使用模板匹配法實現車牌的識別。具體包括將原圖灰度化，邊緣檢測，腐蝕操作，車牌區域定位，車牌區域矯正，二值化，均值濾波，切割，字符匹配，最終顯示車牌號碼。模型已調通，可直接運行。
基于Matlab模板匹配方法的車牌識別系統設計
這里采用簡單模版匹配算法。由于在前期的有效處理使得分割后的字體清晰度完整度都能保持較高的水平。有利于提高模版匹配的成功率。經驗證對非傾斜圖片，識別率可達95%，對傾斜圖片亦可以達到90%以上。D--0,6--8,2--Z,A—4是比較容易識別出錯的字符。
語音播報
對字符正確識別之后，用事先對對每一個字符的錄音根據對應字符順序播放。在對車牌區域識別出錯、字體分割出錯時程序暫停，并有語音提醒。
存儲數據
播放結束之后對相應的識別出來的字符存儲到指定文件夾的txt文件內。并同時存儲對應時間。
最后，有需要歡迎通過微信公眾號聯系我們。
機器視覺定位之零部件尺寸檢測技術
4.圖像匹配
在工業生產加工中，我們所檢測的零部件往往不是單一的，有時候會涉及各種各樣的零部件，通過模板匹配技術就可以實現。模板匹配可以用來做完整性檢測、區分不同類型的物體和得到目標物體在圖像中的位姿。模板的匹配有幾種不同的匹配方式：基于灰度值的匹配、使用圖形金字塔進行的匹配、基于灰度值的亞像素精度的匹配、帶旋轉和縮放的模板匹配。在應用匹配的時候我們主要是用來區分不同類型的物體，很多其他的技術都能分別出不同的物體，但對某種特殊類型的物體來說，實現一個可靠的識別算法是很復雜的。另外如果被識別物體經常發生變化。就必須為每種物體開發一個新的識別算法。通過模板匹配技術就可以實現上述功能。
5.提取亞像素邊緣
亞像素精度輪廓表示圖像中兩個區域之間的邊界，這兩個區域中一個區域的灰度值大于灰度閾值，而另一個區域的灰度值小于灰度閾值。為了獲得這個邊界我們需要將圖像的離散轉換成一個連續函數，而通過雙線插值的方法就能完成這種轉換。在零部件尺寸檢測的工業生產中，通過工業相機采集回來的零部件圖像往往都是像素精度的，在零部件尺寸檢測中我們需要達到比圖像像素分辨率更高的精度，因此從圖像中提取亞像素精度是達到高精度要求的唯一有效的途徑。調用edge_sub_pix算子、gen_polygons_xld算子、se—lect_contours_ xld、算子和union_straight_contours_xld算子，通過濾波器canny可以對零部件目標Region進行亞像素邊緣提取，并可以直接返回由像素點組成的邊緣，具有亞像素精度。
6.轉換為世界坐標
在圖像的分析與處理過程中，由于工業相機采集回來的圖像會出現一定程度上的畸變，那么這個時候我們就要對圖像進行一定程度的校正。
展開 
如何讓機器能觀察環境？模式識別綜述
已知的模式識別方法可分為四個大的方面：模板匹配、統計模式識別、語法及結構匹配和神經網絡，下面先對這四個方面進行簡單的闡述。
1、模板匹配
這時出現較早的一種方法，而且實現起來也較簡單，匹配是個通用的操作，用于定義兩個實體間的相似性程度，一般是采用二維模板，匹配的要素一般采用像素、曲線及形狀信息，當然在定義模板及相似性函數時要考慮到實體的姿態及比例問題，這種方法一般不需要訓練，實際上模板就是由訓練集建立起來的。
這種方法的主要缺點是處理圖像的扭曲效果不好，如圖像投影的畸變教嚴重時。
2、統計
每個模式都是d維空間中的一個點，目標就是選擇一些模式向量將不同的模式分配到不同的模式空間的區域上，對于每個類別給定的訓練集，在模式空間中建立一些分割邊界將不同的模式分到不同的類別中，統計方法中，這個邊界是基于每個類的模式的概率分布的，這點必須預先知道或通過學習獲得，學習就分參數化和非參數化的，前者對應知道其分布需要估計其分布參數，這個由樣本空間可完成，而后者是采用核函數的方式進行估計，同時分割邊界一般是基于一定準則建立的，如最小均方誤差準則。
3、語法及結構分析
這種方法一般針對復雜模式提出的，一般將模式分為子模式一級，稱為基元。這種方法其難點是基元的提取及從訓練數據中提取語法、結構規則。
4、神經網絡
是一種復雜的并行的非線性系統，完成復雜的計算，網絡的最大特點就是從訓練數據中學習到輸入－輸出間的復雜關系，并對數據具有適應性。網絡的結構是千萬種，但最常用的就是前饋結構，如多層感知器及徑向基函數兩種。神經網絡中的隱層可完成特性的抽取及選擇功能，所以適應性很強，理論上，網絡模型等價于經典的統計方法，實際上統計信息就是從樣本中獲得。
本部分主要討論統計模式識別的方法，從操作的一些細節上進行討論，同時也討論的多種方法的優缺點。
展開 工業機器人抓取時如何定位？
↑ 這里就放一個實驗室之前畢業師兄的成果
當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點云分割和歐氏距離去除背景的影響、選用特征比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。
而且，除了 SIFT 之外，后來又出了一大堆類似的特征點，如 SURF、ORB 等。
四． 無紋理的物體
好了，有問題的物體容易解決，那么生活中或者工業里還有很多物體是沒有紋理的：
我們最容易想到的就是：是否有一種特征點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？
不幸的是，據我了解，目前沒有這種特征點。
所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對匹配的特征進行了專門選擇（不只是邊緣等簡單特征）。
這里，我介紹一個我們實驗室之前使用和重現過的算法 LineMod：
Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特征，與數據庫中的模板進行匹配。
由于數據庫中的模板是從一個物體的多個視角拍攝后生成的，所以這樣匹配得到的物體位姿只能算是初步估計，并不精確。
展開 工業機器人抓取時如何定位
↑ 這里就放一個實驗室之前畢業師兄的成果
當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點云分割和歐氏距離去除背景的影響、選用特征比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。
而且，除了 SIFT 之外，后來又出了一大堆類似的特征點，如 SURF、ORB 等。
四． 無紋理的物體
好了，有問題的物體容易解決，那么生活中或者工業里還有很多物體是沒有紋理的：
我們最容易想到的就是：是否有一種特征點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？
不幸的是，據我了解，目前沒有這種特征點。
所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對匹配的特征進行了專門選擇（不只是邊緣等簡單特征）。
這里，我介紹一個我們實驗室之前使用和重現過的算法 LineMod：
Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特征，與數據庫中的模板進行匹配。
由于數據庫中的模板是從一個物體的多個視角拍攝后生成的，所以這樣匹配得到的物體位姿只能算是初步估計，并不精確。
展開 工業機器人抓取時怎么定位？用什么傳感器來檢測？終于弄明白了
↑ 這里就放一個實驗室之前畢業師兄的成果
當然，實際操作過程中還是有很多細節工作才可以讓它真正可用的，如：先利用點云分割和歐氏距離去除背景的影響、選用特征比較穩定的物體（有時候 SIFT 也會變化）、利用貝葉斯方法加速匹配等。
而且，除了 SIFT 之外，后來又出了一大堆類似的特征點，如 SURF、ORB 等。
四． 無紋理的物體
好了，有問題的物體容易解決，那么生活中或者工業里還有很多物體是沒有紋理的：
我們最容易想到的就是：是否有一種特征點，可以描述物體形狀，同時具有跟 SIFT 相似的不變性？
不幸的是，據我了解，目前沒有這種特征點。
所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對匹配的特征進行了專門選擇（不只是邊緣等簡單特征）。
這里，我介紹一個我們實驗室之前使用和重現過的算法 LineMod：
Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
簡單而言，這篇論文同時利用了彩色圖像的圖像梯度和深度圖像的表面法向作為特征，與數據庫中的模板進行匹配。
由于數據庫中的模板是從一個物體的多個視角拍攝后生成的，所以這樣匹配得到的物體位姿只能算是初步估計，并不精確。
展開 外媒猜測FC-31改進型將成為航母艦載機
產品功能要求具有深度學習（神經網絡）目標識別功能（輸入為視頻流）以及具有模板匹配目標識別功能（輸入為視頻流），兩種功能識別速度均應不小于30幀/秒、適用于多類型、多尺度目標及具備視頻中定位、跟蹤功能。
報道稱，沈飛集團是生產殲-15、殲-11和殲-16戰機的公司，其中殲-15是蘇-33的衍生機型，已在中國人民解放軍海軍第一艘航母“遼寧”號上使用。
此外，沈飛集團還設計并制造了中型隱形戰機FC-31，后者在2014年珠海航展上首次公開亮相。
報道指出，鑒于FC-31是沈飛集團唯一的隱形戰機，招標生產與這一平臺兼容的設備公告讓外界認為它是專供這款隱形戰機所用的。
報道稱，中國人民解放軍海軍顯然需要一種比殲-15更先進的戰機來執行航母任務，而且據評估，要么選擇殲-20的海軍版，要么是FC-31的衍生機。自2017年底以來，越來越多的人猜測，FC-31將為該計劃所采用。（編譯/鄔眉）
資料圖片：2016年珠海航展上獻藝的中國FC-31隱身戰機。
展開 難以置信！一篇文章就梳理清楚了 Python OpenCV 的知識體系
18
模板匹配
模板匹配是在一幅圖像中尋找與另一幅模板圖像最匹配（相似）部分的技術。
核心用到的函數如下：
模板匹配 cv2.matchTemplate()；
矩陣歸一化 cv2.normalize()；
尋找最值 cv2.minMaxLoc()。
19
輪廓查找與繪制
核心要理解到在 OpenCV 中，查找輪廓就像在黑色背景中找白色物體。
常用函數：
查找輪廓 cv2.findContours()；
繪制輪廓 cv2.drawContours() 。
最后應該掌握針對每個輪廓進行操作。
展開 一文概括機器視覺常用算法以及常用開發庫
6、圖像/模板匹配：
輪廓匹配、歸一化積相關灰度匹配、不變矩匹配、最小均方誤差匹配
7、色彩分析：
色度、色密度、光譜、顏色直方圖、自動白平衡
8、圖像數據編碼壓縮和傳輸：
圖像編碼壓縮技術可減少描述圖像的數據量（即比特數），以便節省圖像傳輸、處理時間和減少所占用的存儲器容量。壓縮可以在不失真的前提下獲得，也可以在允許的失真條件下進行。編碼是壓縮技術中最重要的方法，它在圖像處理技術中是發展最早且比較成熟的技術。
9、表面缺陷目標識別算法：
傳統方法：貝葉斯分類、K最近鄰（KNN）、人工神經網絡（ANN）、支持向量機（SVM）、K-means等；
10、圖像分類（識別）：
圖像分類（識別）屬于模式識別的范疇，其主要內容是圖像經過某些預處理（增強、復原、壓縮）后，進行圖像分割和特征提取，從而進行判決分類。
11、圖像復原：
圖像復原要求對圖像降質的原因有一定的了解，一般講應根據降質過程建立“降質模型”，再采用某種濾波方法，恢復或重建原來的圖像。
二、現有的視覺檢測軟件/庫
1、做工業視覺檢測的公司有哪些？
比較出名的有：大恒圖像（亞洲Halcon最大代理商）、凌云光技術（VisionPro視覺平臺：印刷、3C電子、顯示屏、玻璃、線路板檢測）、大族激光（振靜系統：視覺激光焊接，定視覺位、缺陷檢測）、康耐視、基恩士、深圳精銳視覺、深圳市視覺龍科技有限公司、廣州超音速、深圳市創科自動化等等。
展開 
破曉“視”界：3C產品屏幕自動檢測技術解析與應用展望
傳統算法： 早期設備主要依賴傳統的圖像處理算法，如閾值分割、邊緣檢測、模板匹配、Blob分析等，來識別劃痕、臟污、亮點、暗點、 Mura（不均勻性）等常規缺陷。
人工智能（AI）與深度學習： 面對更為復雜、主觀性強的缺陷，如色斑、亮度不均、輕微閃爍等，傳統算法往往力不從心。深度學習技術，特別是基于卷積神經網絡（CNN）的模型，通過海量的缺陷樣本數據進行訓練，學會了像經驗豐富的質檢員一樣“理解”什么是缺陷。它能有效區分干擾與真實缺陷，對模糊、不規則的缺陷具有極高的識別率和極低的誤判率，實現了檢測能力的質的飛躍。
自動化控制與分揀（執行）：
一旦識別出缺陷，系統會立即記錄缺陷的類型、位置、尺寸等信息，并生成檢測報告。同時，通過PLC或運動控制卡驅動機械手或分揀機構，將不良品自動剔除出生產線，實現全自動化的“判決”與“執行”。
二、 系統核心構成
一套完整的屏幕自動檢測設備通常包含以下模塊：
機械結構單元： 包括高剛性機架、精密直線電機/絲杠模組，為相機和傳感器提供穩定、高速、高精度的運動平臺。
視覺成像單元： 工業相機、鏡頭、專用光源系統。光源的設計至關重要，它能凸顯缺陷特征，抑制背景干擾。
電控與信號單元： 包括PLC、運動控制器、IO卡、繼電器等，負責協調設備各部件的時序動作，并與生產線進行信號交互。
計算與軟件單元： 搭載高性能工業計算機，運行專用的自動檢測軟件。該軟件集成了圖像采集、算法處理、AI推理、數據管理和人機交互界面，是設備的指揮中心。
三、 核心優勢：為何它能取代人工？
極高的檢測效率： 檢測速度可達毫秒級，遠超人眼的反應速度，能輕松匹配高速產線的節拍需求。
展開 提高檢測小型透明注塑件缺陷的方法
相關學者結合改進的霍夫變換、輪擬合與亞像素處理等技術實現小型齒輪類注塑件的披鋒、缺齒與翹曲等缺陷的自動檢測 [5-6] ；也有學結合模板匹配與圖像分割技術，實現平板類注塑件的外觀缺陷檢測 [7-8] 。在注塑成形工業的模具保護方，通過模板匹配、特征匹配與輪廓檢測等技術實現模內異物或產品殘留的自動檢測 [9] 。綜上所述，基于傳統器視覺的檢測技術大多針對特性類型產品、特定外觀缺陷的檢測，模型可遷移性不強。隨著深度學習技術的發展，基于深度學習的檢測技術已逐漸取代傳統的機器視覺檢測技術，并廣泛應用于圖像分類 [10] 、測 [11] 與分割 [12] 等領域。
近年來，專家學者針對如何利用深度學習技術準確識別注塑件缺陷進行了大量研究，但針對小型透明注塑件缺陷檢測的文獻鮮有報道。為此，本文提出一種基于特征融合的小型透明注塑件缺陷檢測技術首，對小型透明注塑件進行局部成像從而提高局部區的圖像分辨率；其次，利用特征融合網絡將不同層特征圖變換到同一尺寸，從而提高缺陷的定位精度與識別準確率；最后，利用缺陷生成和分類網絡檢測頭對缺陷的位置和類型進行自動識別，提高了小型透明注塑件缺陷檢測的召回率與準確率。
展開 武漢墨光@你 | 《SYNOPSYS 高級成像設計》 線上培訓招生啦
本次墨光將迎來2022年首次 SYNOPSYS?線上培訓，將帶來有關 SYNOPSYS?全面的講解，以下是本次培訓大綱：
01
4月14日第一天
SYNOPSYS 簡介
紅外鏡頭設計
無熱化
冷反射分析
鬼像分析
變焦鏡頭的定義
ZSEARCH 變焦鏡頭初始結構
凸輪曲線
膜層分析
02
4月15日第二天
非球面面型介紹
尋找最佳非球面/衍射面
TOL 公差分析
BTOL 公差分析
公差報告
蒙特卡羅分析
降低公差敏感度
模板匹配
楔形誤差
飛機裝配中的數字孿生+AR技術
利用眼鏡上的攝像機識別到線纜上的標號，然后與數據庫中的裝配工藝進行匹配，找出正確的安裝位置。這里識別編號的功能通過OCR相關算法實現，并且對于扭曲字體進行了特殊處理，保證了較高的識別精度。同時，操作人員還可以通過語音識別技術識別線纜編號。
圖4 AR眼鏡中的裝配信息可視化展示
在編號識別和型譜圖構建的基礎上，系統可以在AR眼鏡中疊加顯示二維的孔位頻譜圖，在其上高亮顯示導線對應插孔，輔助導線接頭安裝過程。另外，還可以通過圖像識別技術，對安裝好的插頭進行檢查，實現錯裝導線的孔位和漏裝導線的孔位的檢錯，在AR眼鏡中展示檢錯警告。
02
基于AR的支架安裝狀態檢測
支架的作用是用于固定線纜，安裝在飛機機身壁板上，保證線纜的正確走線路徑。由于飛機上的線纜支架種類繁多，安裝過程繁瑣，需要一種輔助的裝配狀態監測對比手段。在AR系統中實現采用基于圖像處理的線纜支架識別功能，具有輕量、便捷、高效的特點。
基于AR眼鏡圖像處理的支架安裝狀態檢測方案如圖5所示。由于通過圖像直接進行支架的三維模型匹配和監測需要很高的計算性能，而目前AR眼鏡還無法滿足這一要求，這里將其轉化為二維圖像處理問題來解決。即預先將支架在各個角度生成二維圖像，并在服務器中存儲為圖庫。實際監測時，通過將拍攝的支架圖片進行圖像處理，提取圖像輪廓，計算輪廓矩，作為當前支架姿態的特征，輸入到姿態數據庫（圖庫）中進行kNN最鄰近搜索，查找到與其最匹配的姿態作為輸出。
圖5 基于AR的支架安裝狀態監測系統架構
以單獨支架狀態監測為基礎，面對整塊裝配區域的多個安裝位置的支架，可以通過模板匹配的方法，識別整個區域的所有支架狀態。如圖6所示，首先分割裝配區域的整體圖像，將支架與壁板分離，然后檢測每一支架的安裝狀態。
展開 