注塑成形產(chǎn)品具有成形周期短、精度高、適應(yīng)性強(qiáng)等特點(diǎn)，廣泛應(yīng)用于汽車、航空航天、電子電氣等領(lǐng)域。注塑件缺陷檢測是實(shí)現(xiàn)注塑成形工業(yè)產(chǎn)業(yè)升級的重要技術(shù)環(huán)節(jié)。傳統(tǒng)依靠人工檢測的效率、精度與穩(wěn)定性都得不到保障，嚴(yán)重制約了注塑成形工業(yè)的自動化與智能化水平。

目前，基于機(jī)器視覺的檢測技術(shù)已逐漸應(yīng)用于注塑件的缺陷檢測。如，針對具有較強(qiáng)紋理特征的注塑件，LIU 等采用截?cái)嗥娈愔捣纸夂托〔ǚ纸饧夹g(shù)，實(shí)現(xiàn)注塑件的紋理特征提取，并建立外觀缺陷的檢測模型 [1] ；GAHLEITNER 等利用數(shù)字圖像處理技術(shù)和狀光源成像技術(shù)實(shí)現(xiàn)產(chǎn)品指定位置的紋理檢測 [2] 。對具有縮痕缺陷的注塑件，GRUBER等建立產(chǎn)品縮強(qiáng)度與產(chǎn)品外觀圖像的二階微分之間的定量關(guān)系與模型，實(shí)現(xiàn)注塑件縮痕缺陷的自動檢測 [3] 。針對透注塑件的外觀檢測，SATORRES 等結(jié)合定制的照明硬件系統(tǒng)與可配置組合的軟件模塊，實(shí)現(xiàn)前照燈透鏡的自動檢測 [4] 。相關(guān)學(xué)者結(jié)合改進(jìn)的霍夫變換、輪擬合與亞像素處理等技術(shù)實(shí)現(xiàn)小型齒輪類注塑件的披鋒、缺齒與翹曲等缺陷的自動檢測 [5-6] ；也有學(xué)結(jié)合模板匹配與圖像分割技術(shù)，實(shí)現(xiàn)平板類注塑件的外觀缺陷檢測 [7-8] 。在注塑成形工業(yè)的模具保護(hù)方，通過模板匹配、特征匹配與輪廓檢測等技術(shù)實(shí)現(xiàn)模內(nèi)異物或產(chǎn)品殘留的自動檢測 [9] 。綜上所述，基于傳統(tǒng)器視覺的檢測技術(shù)大多針對特性類型產(chǎn)品、特定外觀缺陷的檢測，模型可遷移性不強(qiáng)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的檢測技術(shù)已逐漸取代傳統(tǒng)的機(jī)器視覺檢測技術(shù)，并廣泛應(yīng)用于圖像分類 [10] 、測 [11] 與分割 [12] 等領(lǐng)域。

近年來，專家學(xué)者針對如何利用深度學(xué)習(xí)技術(shù)準(zhǔn)確識別注塑件缺陷進(jìn)行了大量研究，但針對小型透明注塑件缺陷檢測的文獻(xiàn)鮮有報(bào)道。為此，本文提出一種基于特征融合的小型透明注塑件缺陷檢測技術(shù)首，對小型透明注塑件進(jìn)行局部成像從而提高局部區(qū)的圖像分辨率；其次，利用特征融合網(wǎng)絡(luò)將不同層特征圖變換到同一尺寸，從而提高缺陷的定位精度與識別準(zhǔn)確率；最后，利用缺陷生成和分類網(wǎng)絡(luò)檢測頭對缺陷的位置和類型進(jìn)行自動識別，提高了小型透明注塑件缺陷檢測的召回率與準(zhǔn)確率。

待檢測的小型透明注塑件來自實(shí)際生產(chǎn)中的案例，尺寸為8 mm×6 mm×2 mm。由于材料、工藝與設(shè)備狀態(tài)等參數(shù)的波動，導(dǎo)致產(chǎn)品在注塑成形過程中容易出現(xiàn)毛絲（Hair）和黑點(diǎn)（Spot）2 種常見的缺陷，如圖1 所示。本文主要檢測這2 種外觀缺陷。由于待檢測小型透明注塑件對成像質(zhì)量要求較高，本文采用高清工業(yè)相機(jī)acA3800-10gc并搭配M5028-MPW2鏡頭（分辨率為2 454×2 056）對小型透明注塑件局部區(qū)域進(jìn)行成像。為平衡檢測效率和檢測精度，將成像后的圖像統(tǒng)一縮放至 800×640 像素。

分別收集正常圖像 100 幅、含有毛絲和黑點(diǎn)缺陷的圖像各 80 幅，合計(jì) 260 幅。其中，毛絲和黑點(diǎn)缺陷出現(xiàn)次數(shù)分別為 417 次和384 次，采用人工標(biāo)記的方式記錄每個(gè)缺陷的位置和類型；同時(shí)通過將圖像旋轉(zhuǎn)至不同角度（如30°、90°、180°等）和平移等方式對數(shù)據(jù)進(jìn)行增強(qiáng)，從而獲得 10 倍于原始數(shù)據(jù)量的數(shù)據(jù)集，選取60%的數(shù)據(jù)作為訓(xùn)練集，剩余的40%作為測試集。

本文采用預(yù)訓(xùn)練的 VGG16 網(wǎng)絡(luò)作為特征提取主干網(wǎng)絡(luò)（移除網(wǎng)絡(luò)架構(gòu)最后 3 個(gè)全連接層），包含13個(gè)卷積層和4 個(gè)池化層。傳統(tǒng)目標(biāo)檢測采用特征提取主干網(wǎng)絡(luò)最后的卷積層輸出特征作為區(qū)域生成網(wǎng)絡(luò)和檢測器的輸入，該特征圖的縮放因子為1/32，存在目標(biāo)定位精度不足的問題；而低層次的特征圖沒有經(jīng)歷卷積等非線性變換操作，其語義信息較弱，缺陷識別能力不高。因此，為利用高層次特征圖的強(qiáng)語義特性，對第五卷積組輸出的特征圖進(jìn)行上采樣，以增強(qiáng)其位置信息；為利用低層次特征圖的高分辨率特性，將第一卷積組輸出的特征圖進(jìn)行最大池化操作以增強(qiáng)其語義信息；將上述特征圖變換到與第三卷積組輸出的特征圖相同尺寸，并通過1 個(gè)5×5 的卷積操作增強(qiáng)特征的非線性表達(dá)能力，通過局部響應(yīng)歸一化技術(shù)將3 組特征圖進(jìn)行融合，從而提高缺陷區(qū)域的定位精度。多維度特征融合網(wǎng)絡(luò)如圖2 所示。

首先，將小型透明注塑件外觀圖像輸入特征提取網(wǎng)絡(luò)并經(jīng)歷多維特征融合后，輸出1 個(gè)M × N × F 的特征圖；然后，利用具有L 個(gè)通道的3×3 卷積模板對該特征圖進(jìn)行非線性變換，并將三維特征圖的形狀變換為(M × N) × L 的二維特征圖；最后，在該二維特征圖后接入2 個(gè)全連接層，用于缺陷區(qū)域的生成和粗定位。此外，為提高缺陷定位的精度，引入錨點(diǎn)（anchor）機(jī)制，以錨點(diǎn)為中心，通過生成K 個(gè)不同尺度和比例的矩形框來指定不同大小和長寬比例的缺陷區(qū)域。因此，對于M × N 大小的特征圖，最終將生成M × N ×K 個(gè)候選區(qū)域，缺陷區(qū)域生成網(wǎng)絡(luò)架構(gòu)如圖 3 所示。

式中，i、p 分別為缺陷區(qū)域生成網(wǎng)絡(luò)輸出的第 i 個(gè)候選區(qū)域和響應(yīng)被預(yù)測為缺陷區(qū)域的概率值；p ? = 1 或0 分別為有缺陷或無缺陷區(qū)域的真實(shí)標(biāo)簽；

分別為隨機(jī)小批量的批次大小和每幅圖像候選區(qū)域的數(shù)量；λ 為平衡區(qū)域分類和位置回歸的權(quán)重因子，通常可以設(shè)置為

表示歸一化后的候選區(qū)域的位置向量，其計(jì)算方式為

式中，(x, y, w, h)分別為預(yù)測候選區(qū)域錨點(diǎn)中心坐標(biāo)(x, y)、矩形區(qū)域的寬度(w)與高度(h)；(x a , y a , w a , h a )分別為真實(shí)候選區(qū)域錨點(diǎn)中心坐標(biāo)(x a , y a )、矩形區(qū)域的寬度(w a )與高度(h a )。

在訓(xùn)練階段，采用帶動量的小批量隨機(jī)梯度下降法訓(xùn)練區(qū)域生成網(wǎng)絡(luò)模型，該模型每幅圖像輸出 128個(gè)候選區(qū)域，送入后續(xù)區(qū)域檢測網(wǎng)絡(luò)進(jìn)行進(jìn)一步的分類與定位訓(xùn)練。其中，正負(fù)樣本比例保持為1∶1，若正樣本數(shù)量不足，則由負(fù)樣本補(bǔ)齊。正負(fù)樣本的設(shè)置規(guī)則如下：

在測試階段，由于區(qū)域生成網(wǎng)絡(luò)模型輸出的候選區(qū)域沒有真實(shí)標(biāo)簽，因此直接輸出300 個(gè)候選區(qū)域并送入?yún)^(qū)域檢測網(wǎng)絡(luò)進(jìn)行預(yù)測。

利用感興趣區(qū)域（ROI）池化操作將缺陷區(qū)域生成網(wǎng)絡(luò)生成的候選區(qū)域池化為7×7 的特征圖，并送入后續(xù)檢測器進(jìn)行最終缺陷區(qū)域的精確定位和識別。檢測器網(wǎng)絡(luò)結(jié)構(gòu)與缺陷區(qū)域生成網(wǎng)絡(luò)結(jié)構(gòu)類似，包含 2個(gè)全連接層檢測頭，分別用于位置回歸和缺陷分類，缺陷檢測網(wǎng)絡(luò)總體結(jié)構(gòu)如圖4 所示。

采用帶動量的小批量隨機(jī)梯度下降法訓(xùn)練檢測器，檢測器的位置回歸誤差計(jì)算方式與式(1)相同；缺陷類型識別采用SoftMax 函數(shù)：

本文采用四步法訓(xùn)練缺陷檢測網(wǎng)絡(luò)：1） 單獨(dú)訓(xùn)練缺陷區(qū)域生成網(wǎng)絡(luò)；2） 單獨(dú)訓(xùn)練檢測器；3） 凍結(jié)第 2）步中的特征提取主干網(wǎng)絡(luò)的模型參數(shù)，對缺陷區(qū)域生成網(wǎng)絡(luò)的模型參數(shù)進(jìn)行微調(diào)；4） 凍結(jié)第3）步中的特征提取主干網(wǎng)絡(luò)的模型參數(shù)，對檢測器的模型參數(shù)進(jìn)行微調(diào)。

為驗(yàn)證本文所提方法對小型透明注塑件缺陷檢測的有效性，網(wǎng)絡(luò)訓(xùn)練的實(shí)驗(yàn)平臺硬件配置如下：10核 Intel Xeon CPU E5-2630 v4 @ 2.20 GHz；64 GB 內(nèi)存；2 張Nvidia GeForce GTX 1080Ti 顯卡。區(qū)域召回率與推薦數(shù)量、交并比之間的關(guān)系如圖 5 所示。圖 5同時(shí)給出了傳統(tǒng)邊緣框（EB）、選擇性搜索（SS）、VGG、特征融合網(wǎng)絡(luò)（Hyper）的結(jié)果。

由圖 5(a)可知，當(dāng)推薦數(shù)量為 50 個(gè)且交并比為0.5時(shí)，傳統(tǒng)的EB方法或SS方法的召回率不足60%，而VGG 與Hyper 網(wǎng)絡(luò)的召回率均在80%以上，其中Hyper 網(wǎng)絡(luò)的召回率更高；由圖 5(b)可知，當(dāng)推薦數(shù)量為300 個(gè)且交并比為0.5 時(shí)，傳統(tǒng)的EB 方法或SS方法的召回率不足 80%，而 VGG 與特征融合網(wǎng)絡(luò)的召回率基本可達(dá) 100%。此外，還發(fā)現(xiàn)特征融合網(wǎng)絡(luò)的召回率始終高于 VGG 網(wǎng)絡(luò)和傳統(tǒng)的 EB 方法、SS方法，證實(shí)了本文提出的特征融合網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

在實(shí)時(shí)性方面，當(dāng)推薦區(qū)域數(shù)量為1 000 個(gè)時(shí)，傳統(tǒng) EB 方法、SS 方法處理單幅圖像平均耗時(shí)約為4 s，而VGG 和特征融合網(wǎng)絡(luò)平均耗時(shí)分別為 165 ms和190 ms。特征融合網(wǎng)絡(luò)處理單幅圖像處理速度是傳統(tǒng)EB 方法、SS 方法的4 倍以上，這是因?yàn)樘卣魅诤嫌蓤D 5(a)可知，當(dāng)推薦數(shù)量為 50 個(gè)且交并比為0.5時(shí)，傳統(tǒng)的EB方法或SS方法的召回率不足60%，而VGG 與Hyper 網(wǎng)絡(luò)的召回率均在80%以上，其中Hyper 網(wǎng)絡(luò)的召回率更高；

由表1 可知：當(dāng)推薦區(qū)域數(shù)量為1 000 個(gè)、區(qū)域生成網(wǎng)絡(luò)與檢測器不共享特征提取主干網(wǎng)絡(luò)的模型參數(shù)時(shí)，相比 VGG 網(wǎng)絡(luò)，特征融合網(wǎng)絡(luò)對黑點(diǎn)、毛絲的識別準(zhǔn)確率和平均準(zhǔn)確率分別提高了 3.34%、3.65%、3.50%；當(dāng)采用共享特征網(wǎng)絡(luò)參數(shù)時(shí)，特征融合網(wǎng)絡(luò)對黑點(diǎn)、毛絲的識別準(zhǔn)確率和平均準(zhǔn)確率分別提高了 3.31%、3.59%、3.44%；當(dāng)推薦區(qū)域由 1 000個(gè)降為300 個(gè)時(shí)，平均準(zhǔn)確率可以達(dá)到98.49%，能夠滿足實(shí)際檢測需求。由以上結(jié)果可以看出，本文采用的特征融合方法能提高缺陷的識別準(zhǔn)確率與平均準(zhǔn)確率。

圖6給出了缺陷檢測結(jié)果，其中1表示黑點(diǎn)缺陷、2 表示毛絲缺陷， 1∶0.983 表示出現(xiàn)黑點(diǎn)缺陷的概率為0.983；2∶0.837表示出現(xiàn)毛絲缺陷的概率為0.837。由圖 6 可知，本文所提方法能夠較好地檢測出黑點(diǎn)、毛絲等缺陷。

為了識別小型透明注塑件缺陷，本文提出一種基于特征融合的缺陷檢測技術(shù)。首先，通過高清工業(yè)相機(jī)對小型透明注塑件進(jìn)行局部成像，并將圖像統(tǒng)一縮放至800×640 像素，從而降低產(chǎn)品尺寸對成像質(zhì)量的影響；其次，通過將低層次的特征圖下采樣、高層次特征圖上采樣至同一尺寸大小，并通過局部響應(yīng)歸一化技術(shù)融合不同層次的特征圖，提高缺陷區(qū)域的定位和識別精度；最后，采用預(yù)訓(xùn)練的 VGG 模型作為特征提取主干網(wǎng)絡(luò)，通過缺陷區(qū)域生成網(wǎng)絡(luò)和檢測器實(shí)現(xiàn)缺陷區(qū)域的自動定位與檢測。在300 個(gè)推薦區(qū)域與交并比為0.5 時(shí)，缺陷區(qū)域召回率100%；缺陷類別識別平均準(zhǔn)確率98.49%，具有較高的實(shí)用價(jià)值。