特征匹配的案例
基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法原理
根網(wǎng)絡(luò)學(xué)習(xí)到的特征的區(qū)別，可以將基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法分為基于深度表現(xiàn)特征的跟蹤網(wǎng)絡(luò)，基于相似性度量的跟蹤網(wǎng)絡(luò)以及基于高階匹配特征的跟蹤網(wǎng)絡(luò)如下圖所示。
將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的目標(biāo)的表觀特征引入到多目標(biāo)跟蹤算法中，是提升多目標(biāo)跟蹤算法效果的最簡(jiǎn)單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識(shí)別或行人重識(shí)別任務(wù)訓(xùn)練得到的特征提取網(wǎng)絡(luò)，直接替換現(xiàn)有的多目標(biāo)跟蹤算法框架中的表觀特征提取模塊；采用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)光流運(yùn)動(dòng)特征，將光流網(wǎng)絡(luò)引入到算法中計(jì)算目標(biāo)之間的運(yùn)動(dòng)相關(guān)性等。而通過(guò)深度學(xué)習(xí)提升多目標(biāo)跟蹤算法更加直接的方法是學(xué)習(xí)檢測(cè)之間的特征相似性。譬如，設(shè)計(jì)深度網(wǎng)絡(luò)對(duì)不同目標(biāo)之間的相似性進(jìn)行度量，使得同一目標(biāo)的相似距離小，不同目標(biāo)的相似距離大，從而構(gòu)造關(guān)于檢測(cè)距離的代價(jià)函數(shù)。也可以通過(guò)設(shè)計(jì)二分類代價(jià)，使相同目標(biāo)的檢測(cè)特征匹配類型為 1，然不同目標(biāo)的檢測(cè)特征匹配類型為 0，從而學(xué)習(xí)并輸出(0,1]之間的檢測(cè)匹配度。如果考慮已有軌跡與檢測(cè)之間的匹配，采用深度學(xué)習(xí)方法可以用于設(shè)計(jì)并計(jì)算軌跡之間的匹配相似度，這種方法可以認(rèn)為是基于深度學(xué)習(xí)的高階特征匹配方法。使用深度學(xué)習(xí)計(jì)算高階特征匹配算法，可以學(xué)習(xí)多幀表現(xiàn)特征的高階匹配相似度，也可以學(xué)習(xí)運(yùn)動(dòng)特征的匹配相關(guān)度。下面將通過(guò)對(duì)基于孿生網(wǎng)絡(luò)的深度學(xué)習(xí)多目標(biāo)跟蹤算法的詳細(xì)介紹，來(lái)說(shuō)明基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法的詳細(xì)步驟。
基于對(duì)稱網(wǎng)絡(luò)的多目標(biāo)跟蹤算法有很多種，而其中的一種便是采用 Siamese對(duì)稱卷積網(wǎng)絡(luò)，該算法以兩個(gè)尺寸相同的檢測(cè)圖像塊為輸入，輸出為兩個(gè)圖像塊是否屬于同一個(gè)目標(biāo)的判別。通常有三種拓?fù)湫问降?Siamese 網(wǎng)絡(luò)，其結(jié)構(gòu)分別如下圖所示。
展開 汽車覆蓋件質(zhì)量缺陷視覺(jué)檢測(cè)研究
開裂問(wèn)題視覺(jué)檢測(cè)的流程如下：
⑴用相機(jī)對(duì)合格的零件進(jìn)行拍照，選取一張清晰的照片作為參考圖，再用特征匹配工具選取零件一個(gè)部位作為ROI(檢測(cè)區(qū)域)，確定零件定位部位，后續(xù)零件檢測(cè)定位會(huì)更加準(zhǔn)確。特征匹配算法的設(shè)置界面如圖1 所示。
圖1 特征匹配算法設(shè)置界面
⑵選用相似度算法檢測(cè)零件是否有開裂，相似度算法用于與設(shè)定的ROI 區(qū)域(藍(lán)色框)內(nèi)與模板基準(zhǔn)圖進(jìn)行比對(duì)，可同時(shí)設(shè)置多個(gè)檢測(cè)區(qū)域與忽略區(qū)域，從而判斷零件是否有開裂問(wèn)題。相似度算法設(shè)置如圖2 所示。
圖2 相似度算法設(shè)置界面
⑶2 個(gè)算法設(shè)置完成后，先點(diǎn)“測(cè)試當(dāng)前”按鈕，看軟件能否正確檢測(cè)出模板中的照片，如果檢測(cè)“OK”，則算法設(shè)置完成。如有開裂零件，視覺(jué)檢測(cè)軟件會(huì)做出正確檢測(cè)，檢測(cè)時(shí)間在1 秒內(nèi)完成，檢測(cè)結(jié)果是“NG”不合格，并發(fā)出報(bào)警聲，如圖3 所示。
圖3 開裂問(wèn)題檢測(cè)結(jié)果
少孔問(wèn)題視覺(jué)檢測(cè)
少孔問(wèn)題也是覆蓋件最嚴(yán)重的質(zhì)量問(wèn)題之一，少孔是指零件實(shí)際孔數(shù)與標(biāo)準(zhǔn)孔數(shù)少一個(gè)或多個(gè)的問(wèn)題，少孔對(duì)下工序裝配零件會(huì)有嚴(yán)重影響。目前，沖壓對(duì)零件孔數(shù)采用的方法是每15 分鐘抽檢1 件數(shù)孔，如果在這個(gè)間隔時(shí)間內(nèi)出現(xiàn)少孔問(wèn)題，可能到發(fā)現(xiàn)時(shí)已生產(chǎn)100 件左右。如果采用視覺(jué)檢測(cè)，則可實(shí)現(xiàn)100%檢測(cè)孔數(shù)，實(shí)現(xiàn)少孔問(wèn)題零逃逸。少孔問(wèn)題視覺(jué)檢測(cè)的流程如下：
⑴用相機(jī)拍一張合格零件的照片，選取一張清晰的照片作為參考圖，選用直線匹配算法，直線1 和直線2 的ROI 區(qū)畫在零件右邊直線上，直線3 的ROI 區(qū)畫在零件水平直線上。通過(guò)零件2 個(gè)邊定位零件，使檢測(cè)更加準(zhǔn)確可靠，點(diǎn)擊測(cè)試按鈕，出現(xiàn)測(cè)試結(jié)果“OK”則設(shè)置完成。
圖4 直線匹配算法設(shè)置界面
⑵選用斑點(diǎn)檢測(cè)算法檢測(cè)少孔問(wèn)題，把ROI 藍(lán)色框圈住零件的孔，斑點(diǎn)類型選擇黑色斑點(diǎn)，灰度閾值選擇128，中心類型選擇區(qū)域重心。
展開 無(wú)人車業(yè)務(wù)中的視覺(jué)三維重建
典型的SfM重建流程大致可以分為特征提取、稀疏重建，稠密重建三個(gè)步驟。
Colmap中的SfM重建流程1?
特征與匹配
在SfM中，首先要進(jìn)行的就是特征點(diǎn)的提取與匹配工作。這一部分中，最經(jīng)典的莫過(guò)于SIFT特征子1。如果不限制具體的應(yīng)用場(chǎng)景（室內(nèi) vs. 室外，自然景觀 vs. 人造物體等等），那么SIFT特征子可以在各類場(chǎng)景中均有比較穩(wěn)定的特征提取與匹配結(jié)果。
隨著近些年深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展，很多研究者提出了基于深度學(xué)習(xí)的特征提取與匹配方案。其中最著名的當(dāng)屬M(fèi)agicLeap團(tuán)隊(duì)提出的SuperPoint（CVPR2018）2+ SuperGlue（CVPR2020）3方案。
SuperPoint作為一種特征點(diǎn)提取算法，采用了自監(jiān)督的方式進(jìn)行訓(xùn)練，并采用了Homographic Adaptation技術(shù)大大加強(qiáng)了提取特征點(diǎn)的場(chǎng)景適應(yīng)性。相比于傳統(tǒng)的SIFT，提取的特征點(diǎn)可信度更強(qiáng)。
SuperGlue作為一種特征匹配算法，引入了注意力機(jī)制來(lái)強(qiáng)化網(wǎng)絡(luò)對(duì)特征的表達(dá)能力，從而使得在視差較大的兩幅圖像之間仍然可以很好的找到特征點(diǎn)間的匹配關(guān)系。在CVPR2020/ECCV2020的indoor/outdoor localization challenges中，使用了SuperPoint以及SuperGlue的方案名列前茅，充分展現(xiàn)了這兩種方法在特征提取與匹配方面的優(yōu)勢(shì)。
基于SuperPoint+SuperGlue的特征提取與匹配效果1?
在今年的CVPR2021上，商湯團(tuán)隊(duì)發(fā)表了LofTR?。
展開 三維重建與自動(dòng)駕駛的契合點(diǎn)在哪里？盤一盤近幾年SOTA方法！
考慮MVS特征匹配任務(wù)的本質(zhì)，提出一個(gè)強(qiáng)大的特征匹配轉(zhuǎn)換器 (FMT)，使用內(nèi)部和外部注意力來(lái)聚合圖像內(nèi)和圖像之間的上下文信息。為了更好地適應(yīng)FMT，本文利用自適應(yīng)接收?qǐng)觯ˋRF）模塊確保特征范圍內(nèi)的平穩(wěn)過(guò)渡，并通過(guò)特征路徑跨越不同尺度傳遞轉(zhuǎn)換后的特征和梯度，從而跨越不同階段。此外，本文應(yīng)用成對(duì)特征相關(guān)性來(lái)度量特征之間的相似性，并采用模糊性減少焦距損失來(lái)加強(qiáng)監(jiān)督。TransMVSNet是利用Transformer完成MVS任務(wù)的第一次嘗試。在DTU數(shù)據(jù)集、Tanks and Temples基準(zhǔn)以及BlendedMVS數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。盡管TransMVSNet降低了推理速度，但與其他從粗到細(xì)的MVS網(wǎng)絡(luò)類似，本文方法對(duì)推理超參數(shù)敏感，例如深度假設(shè)的數(shù)量、深度間隔和深度間隔的衰減因子。
網(wǎng)絡(luò)結(jié)構(gòu)如下：
TransMVSNet的概述如上圖所示，首先使用特征金字塔網(wǎng)絡(luò)（FPN），在三個(gè)粗略到精細(xì)的分辨率上提取多尺度深度圖像特征；在將這些特性輸入給Transformer之前，本文使用自適應(yīng)接收?qǐng)觯ˋRF）模塊來(lái)細(xì)化局部特征提取，并確保平穩(wěn)過(guò)渡到Transformer。為了利用參考圖像和源圖像之間的全局上下文信息，本文采用特征匹配Transformer（FMT）進(jìn)行內(nèi)部和外部注意力。為了有效和高效地將變換后的特征從低分辨率傳播到更高分辨率，并使FMT使用所有尺度的梯度進(jìn)行訓(xùn)練，本文用一個(gè)特征路徑連接所有的分辨率。對(duì)于FMT處理的N×H′×W′×F的特征圖，構(gòu)建H′×W′×D′×1的相關(guān)體用于3D CNN的正則化。H′、W′和F表示當(dāng)前階段特征圖的高度、寬度和通道，N表示視圖數(shù)，D′表示相應(yīng)的深度假設(shè)數(shù)。在獲得正則化的概率體之后，模型采取贏者通吃的策略來(lái)確定最終預(yù)測(cè)。
展開 
讀書筆記：船舶設(shè)計(jì)優(yōu)化與模塊化設(shè)計(jì)
因此，新產(chǎn)品的開發(fā)速度可以更快，因?yàn)樾庐a(chǎn)品的集成通常是不同模塊的聯(lián)合、混合和匹配。通過(guò)使用有關(guān)組件交互的先進(jìn)技術(shù)知識(shí)，可以將產(chǎn)品視為組件的組裝，并且每個(gè)組件設(shè)計(jì)為在指定和標(biāo)準(zhǔn)化參數(shù)內(nèi)“接近最優(yōu)”。模塊化方法簡(jiǎn)化了設(shè)計(jì)和開發(fā)過(guò)程，因此可以在制造公司之間進(jìn)行明確的分工。
這允許為產(chǎn)品設(shè)計(jì)一個(gè)集成的、靈活的制造計(jì)劃。模塊化設(shè)計(jì)架構(gòu)更適合開發(fā)由標(biāo)準(zhǔn)化、規(guī)范和功能參數(shù)設(shè)計(jì)驅(qū)動(dòng)的產(chǎn)品的
可變組合。由于具有模塊化設(shè)計(jì)的產(chǎn)品確實(shí)允許制造公司通過(guò)升級(jí)或添加不同的模塊來(lái)更改產(chǎn)品，而無(wú)需更改其余部分（即基本設(shè)計(jì)）或?qū)嵤┳钚〉呐渲酶模? 并因此將任何更改“隔離”到有限的域中。
但是，模塊化設(shè)計(jì)比整體設(shè)計(jì)更難設(shè)計(jì)
，因?yàn)樵O(shè)計(jì)師需要更深入地了解產(chǎn)品的“內(nèi)部工作原理”，
以便劃分和解耦設(shè)計(jì)任務(wù)
；從技術(shù)上講，模塊化設(shè)計(jì)意味著在各種相關(guān)和獨(dú)立的設(shè)計(jì)參數(shù)之間的關(guān)系進(jìn)行明確的界定。
在船舶設(shè)計(jì)中，參數(shù)是根據(jù)從
成功設(shè)計(jì)中獲得的歷史數(shù)據(jù)中汲取的經(jīng)驗(yàn)來(lái)估計(jì)的。盡管可以在兩個(gè)設(shè)計(jì)之間進(jìn)行插值，但應(yīng)避免在輸入（可從過(guò)去的歷史數(shù)據(jù)中獲得）設(shè)計(jì)范圍之外的任何外推。此外，船舶將首先根據(jù)某些技術(shù)特征進(jìn)行匹配。如果這些技術(shù)特征匹配或在很小的變化范圍內(nèi)，則可以比較設(shè)計(jì)并插入數(shù)據(jù)。
這些技術(shù)特點(diǎn)可用于構(gòu)建高效的知識(shí)庫(kù)，實(shí)現(xiàn)設(shè)計(jì)的模塊化和標(biāo)準(zhǔn)化。
這促使迫切需要專門的方法來(lái)支持信息傳播并促進(jìn)研究和開發(fā)環(huán)境中數(shù)據(jù)的流動(dòng)交換，該環(huán)境將控制船舶的尺寸、速度以及運(yùn)輸能力。該領(lǐng)域的挑戰(zhàn)是：
開發(fā)新的方法，從以前的設(shè)計(jì)中提取設(shè)計(jì)和生產(chǎn)信息，并在新的設(shè)計(jì)和生產(chǎn)方案中智能地使用它們。
其中需要注意的是，對(duì)主要設(shè)計(jì)變量的任何更改都可能導(dǎo)致其他變量的更改，反之亦然。優(yōu)化過(guò)程中所有主要系統(tǒng)的結(jié)合增加了設(shè)計(jì)選項(xiàng)的復(fù)雜性。
展開 基于激光+視覺(jué)+IMU+RTK的三維重建
無(wú)論是激光和是視覺(jué)做三維重建都需要做特征匹配，但是匹配都不能保證精度足夠，在一些特征不好的時(shí)候，建圖的效果較差，所以一般會(huì)加入IMU做匹配約
束，IMU傳感器能智能地融合多軸陀螺儀和加速度計(jì)，即只用內(nèi)部傳感器就可以得到測(cè)量數(shù)據(jù)，而不需要任何外界幫助，提供可靠的位置和運(yùn)動(dòng)識(shí)別。
IMU在三維重建中采用的方法一般是通過(guò)卡爾曼濾波器或者優(yōu)化的預(yù)積分模型進(jìn)行對(duì)匹配進(jìn)行相對(duì)約束，能大大提升匹配的精度和魯棒性。
基于濾波的IMU融合框架如下圖所示
基于濾波的IMU融合
基于優(yōu)化的IMU融合如下圖所示
基于優(yōu)化的IMU融合
兩種融合方式都有其應(yīng)用的優(yōu)點(diǎn)，基于濾波的計(jì)算量小，基于優(yōu)化的計(jì)算兩較大，精度一般高于濾波方法。
激光三維重建的匹配原理如下圖所示
激光三維重建過(guò)程
激光匹配的本質(zhì)就是對(duì)應(yīng)點(diǎn)關(guān)聯(lián)，做剛體變換完成，典型算法是ICP,NDT。
激光匹配的對(duì)應(yīng)點(diǎn)關(guān)聯(lián)
視覺(jué)三維重建的匹配原理如下圖所示
視覺(jué)三維重建過(guò)程
視覺(jué)匹配的本質(zhì)就是利用多幀圖像的共視關(guān)系恢復(fù)目標(biāo)的三維結(jié)構(gòu)，典型方法就是BA。
視覺(jué)匹配的多視角共視約束
激光三維重建效果
激光三維重建高精度地圖1
激光三維重建高精度地圖2
視覺(jué)重建效果圖
視覺(jué)三維重建地圖，帶有顏色屬性
純激光或者視覺(jué)+IMU在大場(chǎng)景中可能會(huì)有一定累計(jì)誤差漂移情況，對(duì)此，加入RTK可消除累積誤差，適合進(jìn)行大場(chǎng)景三維重建，效果如下圖所示。
激光+視覺(jué)+IMU+RTK重建效果圖
最后，有相關(guān)需求歡迎通過(guò)微信公眾號(hào)聯(lián)系我們。
展開 雙目立體視覺(jué)技術(shù)涉及到的基本概念
常用的匹配特征主要有點(diǎn)狀特征、線狀特征和區(qū)域特征等幾種情形。
一般而言，尺度較大的圖像特征蘊(yùn)含較多的圖像信息，且特征本身的數(shù)目較少，匹配效率高；但特征的提取和描述過(guò)程存在較大的困難，定位精度也較差。而對(duì)于尺度較小的圖像特征來(lái)說(shuō)，對(duì)其進(jìn)行表達(dá)和描述相對(duì)簡(jiǎn)單，定位精度較高；但由于其本身數(shù)目較多，所包含的圖像信息少，在匹配時(shí)需要采用較嚴(yán)格的約束條件和匹配策略，以盡可能地減少匹配歧義和提高匹配效率。總的來(lái)說(shuō)，好的匹配特征應(yīng)該具有要可區(qū)分性、不變性、唯一性以及有效解決匹配歧義的能力。
5.4. 圖像匹配（ImageMatching）
在立體視覺(jué)中（圖二、圖三），圖像匹配是指將三維空間中一點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)al(ul，vl)和ar(ur，vr)對(duì)應(yīng)起來(lái)。圖像匹配是立體視覺(jué)中最重要也是最困難的問(wèn)題，一直是立體視覺(jué)研究的焦點(diǎn)。當(dāng)空間三維場(chǎng)景經(jīng)過(guò)透視投影（PerspectiveProjection）變換為二維圖像時(shí)，同一景物在不同視點(diǎn)的攝像機(jī)圖像平面上的成像會(huì)發(fā)生不同程度的扭曲和變形，而且場(chǎng)景中的光照條件、被測(cè)對(duì)象的幾何形狀和表面特性、噪聲干擾和畸變、攝像機(jī)特性等諸多因素的影響都被集中體現(xiàn)在單一的圖像灰度值中。顯然，要對(duì)包含了如此之多不利因素的圖像進(jìn)行準(zhǔn)確匹配是很不容易的。
5.5. 三維恢復(fù)（3DReconstruction）
在完成立體視覺(jué)系統(tǒng)的攝像機(jī)標(biāo)定和圖像匹配工作以后，就可以進(jìn)行被測(cè)對(duì)象表面點(diǎn)的三維信息恢復(fù)。影響三維測(cè)量精度的因素主要有攝像機(jī)標(biāo)定誤差、CCD成像設(shè)備的數(shù)字量化效應(yīng)、特征提取和匹配定位精度等。
5.6.
展開 基于學(xué)習(xí)的自動(dòng)駕駛汽車路徑跟蹤模型預(yù)測(cè)控制
目標(biāo)是設(shè)計(jì)一個(gè)控制器，該控制器生成的運(yùn)動(dòng)與人類產(chǎn)生的運(yùn)動(dòng)的特定特征相匹配。這些特征包括橫向加速度、橫向速度、與車道中心的距離和偏航率。為了實(shí)現(xiàn)此功能，成本函數(shù)的參數(shù)是從人工演示數(shù)據(jù)中學(xué)習(xí)的。然后使用這些參數(shù)來(lái)實(shí)現(xiàn)用于自動(dòng)駕駛車輛路徑跟蹤的 MPC 控制器。針對(duì)訓(xùn)練和測(cè)試駕駛場(chǎng)景，展示了控制器和人類駕駛對(duì)計(jì)算特征的性能比較。正如預(yù)期的那樣，觀察到訓(xùn)練場(chǎng)景中的特征值更接近相應(yīng)的人工演示。學(xué)習(xí)到的控制器表現(xiàn)出適當(dāng)?shù)姆夯芰Γ虼丝梢栽诓煌沫h(huán)境中使用。還觀察到，學(xué)習(xí)到的控制器不僅能夠?qū)W習(xí)人類駕駛的期望特征，而且能夠遵循參考軌跡。未來(lái)的計(jì)劃是使用實(shí)際駕駛場(chǎng)景進(jìn)行更嚴(yán)格的訓(xùn)練，并使用這種方法增強(qiáng)學(xué)習(xí)控制器的泛化特性。
展開 超表面賦能結(jié)構(gòu)光三維重建 | 實(shí)現(xiàn)超大視場(chǎng)高精度實(shí)時(shí)重建
ql-align-center"><strong>原文信息</strong></p><p><br></p><p><br></p><p><br></p><p>原文標(biāo)題：“Super-Large Field-of-View, High-Accurate and Real-Time 3D Scene Reconstruction Based on Metasurface-Enabled Structured Light”</p><p>第一作者：Zhengren Zhan</p><p>通訊作者：Zhengren Zhan</p><figure style="text-align: center;"><figure class="figure-image" contenteditable="false" data-img="https://img.jishulink.com/202510/attachment/369a149573c943d78e2a55bb6e269065.png" style="display: inline-block;"><img src="https://img.jishulink.com/202510/attachment/369a149573c943d78e2a55bb6e269065.png"></figure></figure><p class="ql-align-center"><br></p><p><br></p><p>三維場(chǎng)景重建主流技術(shù)對(duì)比分析</p><p>光學(xué)技術(shù)在傳感探測(cè)領(lǐng)域中具有核心地位，而三維場(chǎng)景重建（即構(gòu)建真實(shí)空間數(shù)字模型）的實(shí)現(xiàn)主要依賴三類技術(shù)，各技術(shù)的原理與局限如下：</p><p><br></p><p><strong>1.純視覺(jué)技術(shù)：</strong>通過(guò)攝像機(jī)采集目標(biāo)場(chǎng)景的多視角圖像，利用圖像與現(xiàn)實(shí)空間的幾何關(guān)系提取深度值，再經(jīng)特征匹配與點(diǎn)云拼接獲取全場(chǎng)景三維信息
展開 高應(yīng)變速率和準(zhǔn)靜態(tài)力學(xué)拉伸性能有什么不同？如何準(zhǔn)確選擇測(cè)試設(shè)備？
需要說(shuō)明的是在不同的應(yīng)變率范圍，需匹配不同的試驗(yàn)設(shè)備進(jìn)行力學(xué)性能測(cè)試，如圖1所示，如準(zhǔn)靜態(tài)范圍一般通過(guò)常規(guī)的靜態(tài)試驗(yàn)機(jī)，中低應(yīng)變率范圍則一般通過(guò)高速液壓伺服試驗(yàn)機(jī)，而高應(yīng)變率范圍則一般采用霍普金森桿試驗(yàn)裝置。相較而言，中低應(yīng)變率范圍內(nèi)的材料動(dòng)態(tài)力學(xué)性能測(cè)試方法尚沒(méi)有準(zhǔn)靜態(tài)和高應(yīng)變率下的測(cè)試方法成熟，主要體現(xiàn)為基于高速液壓伺服試驗(yàn)機(jī)的材料中低應(yīng)變率動(dòng)態(tài)拉伸試驗(yàn)相對(duì)較少，在關(guān)鍵試驗(yàn)參數(shù)測(cè)試、試驗(yàn)數(shù)據(jù)處理等方面有待進(jìn)一步形成共識(shí)。
圖1 典型材料在不同應(yīng)變率范圍的試驗(yàn)裝置
高速拉伸試驗(yàn)機(jī)
霍普金森桿
材料的動(dòng)態(tài)應(yīng)變測(cè)試
材料力學(xué)性能試驗(yàn)中應(yīng)變測(cè)試的常規(guī)方法包括應(yīng)變電測(cè)法和引伸計(jì)測(cè)量方法。但受限于常規(guī)應(yīng)變片使用量程的限制，無(wú)法測(cè)量材料的塑性變形全過(guò)程。而材料動(dòng)態(tài)拉伸試驗(yàn)為瞬態(tài)破壞過(guò)程，傳統(tǒng)機(jī)械引伸計(jì)易發(fā)生損壞也不適用。因此，在材料動(dòng)態(tài)拉伸試驗(yàn)中，常規(guī)的接觸式應(yīng)變測(cè)試手段無(wú)法適用。
數(shù)字圖像相關(guān)方法（digital image correlation， DIC）是應(yīng)用計(jì)算機(jī)視覺(jué)技術(shù)的一種光學(xué)測(cè)量方法，因操作簡(jiǎn)單、精度高，可在非接觸條件下進(jìn)行全場(chǎng)變形測(cè)量等特點(diǎn)，在試驗(yàn)力學(xué)領(lǐng)域已獲得越來(lái)越廣泛的應(yīng)用。考慮不同的應(yīng)用場(chǎng)景，非接觸應(yīng)變測(cè)試可分為基于灰度匹配和基于特征匹配等方法。其中，基于灰度匹配的測(cè)量原理是由圖像采集裝置記錄被測(cè)物體位移或變形前后的兩幅散斑圖，經(jīng)模數(shù)轉(zhuǎn)換得到兩個(gè)數(shù)字灰度場(chǎng)，對(duì)數(shù)字灰度場(chǎng)做相關(guān)運(yùn)算，找到相關(guān)系數(shù)極值點(diǎn)，得到相應(yīng)的位移或變形，再經(jīng)過(guò)適當(dāng)?shù)臄?shù)值差分計(jì)算獲得試樣表面的位移場(chǎng)和應(yīng)變場(chǎng)，其簡(jiǎn)易原理如圖2所示。散斑圖像可布置為白色襯底上形成黑色斑點(diǎn)，為了較好地匹配試驗(yàn)件表面變形點(diǎn)，斑點(diǎn)尺寸一般至少包括3～4個(gè)像素，圖3為典型的材料動(dòng)態(tài)拉伸應(yīng)變測(cè)試應(yīng)用。
展開 基于Matlab的纖維圖像特征提取與自動(dòng)分類程序?qū)崿F(xiàn)
讀取纖維圖片，自動(dòng)輸入纖維種類，顯示纖維圖像，經(jīng)過(guò)灰度處理，再通過(guò)二值化+細(xì)化，利用Harris角點(diǎn)檢測(cè)算法進(jìn)行特征點(diǎn)提取，進(jìn)行匹配相似性計(jì)算，從而最終輸入分類結(jié)果，顯示纖維種類。筆者寫的部分代碼和UI界面如圖3所示。
圖3 Matlab App Designer GUI分類界面
筆者提供了麻棉、麻粘和再生棉等數(shù)據(jù)庫(kù)，總共包括接近50張圖片，預(yù)處理和圖像分割和特征提取須（包括從灰度圖到細(xì)化+特征點(diǎn)提取都要有），軟件自動(dòng)化檢測(cè)結(jié)果如圖4所示。
圖4 軟件自動(dòng)化檢測(cè)結(jié)果
最后，有相關(guān)需求歡迎通過(guò)公眾號(hào)“320科技工作室”與我們聯(lián)絡(luò)
展開 
高級(jí)別智能駕駛業(yè)務(wù)系列：自動(dòng)駕駛系統(tǒng)
經(jīng)緯恒潤(rùn)高精定位方案包含組合導(dǎo)航定位系統(tǒng)、特征匹配、車身信息、傳感信息、高精地圖、超寬帶UWB系統(tǒng)等。通過(guò)多種定位手段與多種傳感器數(shù)據(jù)融合技術(shù)，基于港口實(shí)際工況和已有的基建設(shè)施，在不同區(qū)域采用不同的定位思路構(gòu)建了平滑切換的策略。高精定位技術(shù)解決了港區(qū)內(nèi)因GNSS信號(hào)遮擋和多徑反射引起的無(wú)信號(hào)或信號(hào)漂移導(dǎo)致定位不準(zhǔn)確的問(wèn)題，滿足了自動(dòng)駕駛水平運(yùn)輸車輛運(yùn)行全過(guò)程橫向和縱向定位準(zhǔn)確以及在安全作業(yè)的精準(zhǔn)停車需求。
自動(dòng)駕駛感知算法
經(jīng)緯恒潤(rùn)感知算法基于激光雷達(dá)、攝像頭、4D毫米波雷達(dá)、角毫米波雷達(dá)等多種傳感器進(jìn)行深度的人工智能感知和感知融合，對(duì)車輛周圍360°環(huán)境進(jìn)行多重感知。感知方案不僅考慮了冗余性、容錯(cuò)性、魯棒性，并能在惡劣天氣情況依舊給予無(wú)人駕駛系統(tǒng)必要的感知信息，從而保證車輛正常的安全運(yùn)行。數(shù)據(jù)處理方面，采用多源傳感器融合方案并考慮時(shí)空同步，針對(duì)不同的需要識(shí)別的障礙物，結(jié)合各個(gè)傳感器的感知性能優(yōu)勢(shì)特性，進(jìn)行針對(duì)性的檢測(cè)，能提供雨、雪、大霧等多種環(huán)境下的高精度的感知方案。不同的傳感器探測(cè)范圍相互配合，可以提供冗余感知和相互校驗(yàn)?zāi)芰Γ嵘罱K的自動(dòng)駕駛感知置信度和安全能力。
展開 方案分享 | ADAS時(shí)空融合數(shù)據(jù)采集方案
傳感器間標(biāo)定中LiDAR2Camera，利用同步采集的點(diǎn)云與圖像數(shù)據(jù)，通過(guò)標(biāo)定板特征匹配，計(jì)算外參矩陣（旋轉(zhuǎn)矩陣 R、平移向量 T），重投影誤差均值 0.0138m，支持點(diǎn)云投影到圖像像素坐標(biāo)。
4、數(shù)據(jù)采集
在數(shù)據(jù)采集環(huán)節(jié)，配套軟件提供全流程可視化操作與高效數(shù)據(jù)管理能力：
（1）多模態(tài)可視化：實(shí)時(shí)顯示 LiDAR 點(diǎn)云、Camera 圖像、Radar 目標(biāo)聚類及 RTK 定位信息，支持分屏監(jiān)控與時(shí)間戳同步顯示，便于實(shí)時(shí)校驗(yàn)數(shù)據(jù)質(zhì)量。
（2）靈活配置能力：
格式選擇：支持LiDAR (ros bag)、Radar/RTK (ros bag)、Camera (RAW/PNG)等多種格式，滿足不同算法開發(fā)需求。
環(huán)境標(biāo)注：自動(dòng)記錄天氣（晴 / 雨 / 霧）、道路類型（城市 / 高速 / 鄉(xiāng)村）等元數(shù)據(jù)，生成包含時(shí)間戳、存儲(chǔ)路徑、傳感器配置的場(chǎng)景采集文件，提升數(shù)據(jù)可追溯性。
（3）穩(wěn)定存儲(chǔ)方案：按傳感器類型生成獨(dú)立文件夾（如 LiDAR_data、Radar_data），避免數(shù)據(jù)混雜。
三、總結(jié)
通過(guò)線束改造、時(shí)間同步、傳感器標(biāo)定與采集軟件的深度協(xié)同，以上方案可以系統(tǒng)性解決了多源數(shù)據(jù)采集中的時(shí)空對(duì)齊、格式適配與高效存儲(chǔ)難題。
具體內(nèi)容已經(jīng)通過(guò)實(shí)車測(cè)試驗(yàn)證，支持厘米級(jí)空間定位與納秒級(jí)時(shí)間同步，為自動(dòng)駕駛算法研發(fā)、傳感器融合驗(yàn)證提供了可靠的數(shù)據(jù)基石。
展開 收藏 | 深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用總結(jié)
計(jì)算機(jī)視覺(jué)需要圖像預(yù)處理，比如特征提取，包括特征點(diǎn)，邊緣和輪廓之類。以前做跟蹤和三維重建，首先就得提取特征。特征點(diǎn)以前成功的就是SIFT/SURF/FAST之類，現(xiàn)在完全可以通過(guò)CNN形成的特征圖來(lái)定義。
邊緣和輪廓的提取是一個(gè)非常tricky的工作，細(xì)節(jié)也許就會(huì)被過(guò)強(qiáng)的圖像線條掩蓋，紋理（texture）本身就是一種很弱的邊緣分布模式，分級(jí)（hierarchical）表示是常用的方法，俗稱尺度空間（scale space）。以前做移動(dòng)端的視覺(jué)平臺(tái)，有時(shí)候不得不把一些圖像處理功能關(guān)掉，原因是造成了特征畸變。現(xiàn)在CNN這種天然的特征描述機(jī)制，給圖像預(yù)處理提供了不錯(cuò)的工具，它能將圖像處理和視覺(jué)預(yù)處理合二為一。
1 特征提取
LIFT（Learned Invariant Feature Transform）模型，就是在模仿SIFT：
2 邊緣/輪廓提取
一個(gè)輪廓檢測(cè)的encoder-decoder network模型：
3 特征匹配
這里給出一個(gè)做匹配的模型MatchNet：
2.5-D計(jì)算機(jī)視覺(jué)部分（不是全3-D）
涉及到視差或者2-D運(yùn)動(dòng)的部分一般稱為2.5-D空間。這個(gè)部分和前面的2-D問(wèn)題是一樣的，作為重建任務(wù)它也是逆問(wèn)題，需要約束條件求解優(yōu)化解，比如TV，GraphCut。一段時(shí)間（特別是Marr時(shí)代）計(jì)算機(jī)視覺(jué)的工作，就是解決約束條件下的優(yōu)化問(wèn)題。
后來(lái)，隨機(jī)概率和貝葉斯估計(jì)大行其事，約束條件變成了先驗(yàn)知識(shí)（prior），計(jì)算機(jī)視覺(jué)圈里寫文章要是沒(méi)有 P (Probability) 和 B (Bayes)，都不好意思發(fā)。
展開 一文了解目前所有的視覺(jué)三維重建技術(shù)
根據(jù)匹配的方法不同可以分為區(qū)域視覺(jué)法和特征視覺(jué)法。
2.1 區(qū)域視覺(jué)法
區(qū)域視覺(jué)法就是基于區(qū)域立體匹配算法的三維重建技術(shù)。該算法利用對(duì)極幾何約束和連續(xù)性, 提高了稠密匹配的效率和三維重建的質(zhì)量。
2.2 特征視覺(jué)法
基于特征視覺(jué)的三維重建技術(shù)其實(shí)就是通過(guò)相機(jī)獲取二維圖像, 然后提取圖像中的角點(diǎn)作為特征點(diǎn), 以雙目立體視覺(jué)理論為基礎(chǔ), 利用匹配算法, 獲得特征點(diǎn)匹配對(duì), 再通過(guò)三角測(cè)量原理獲取深度值, 從而獲得物體表面的三維模型。
3、根據(jù)應(yīng)用方法分類
基于被動(dòng)視覺(jué)的三維重建技術(shù)根據(jù)所選取方法不同, 所重建的效果有明顯差別, 但每種方法都有不同的優(yōu)點(diǎn)和缺點(diǎn)。因此, 根據(jù)應(yīng)用方法可以分為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法和機(jī)器學(xué)習(xí)法。
3.1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法
如果獲取的圖像是從多個(gè)視點(diǎn)捕獲的多張圖像, 可以通過(guò)匹配算法獲得圖像中相同像素點(diǎn)的對(duì)應(yīng)關(guān)系, 再利用匹配約束關(guān)系, 結(jié)合三角測(cè)量原理, 獲得空間點(diǎn)的三維坐標(biāo)信息, 進(jìn)而重建出物體的三維模型。這個(gè)過(guò)程被稱為運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法, 即SfM (Structure from motion)。運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法是通過(guò)三角測(cè)量原理來(lái)恢復(fù)場(chǎng)景的三維結(jié)構(gòu).這種方法不僅是三維重建的一種重要手段, 而且也是一種結(jié)構(gòu)測(cè)量的方法, 能夠廣泛地應(yīng)用在測(cè)繪、軍事偵查等領(lǐng)域.目前SfM主要分為兩類:增量式SfM 和全局式SfM 。
展開 