三維視覺成像技術(shù)的案例
機(jī)器人視覺三維成像技術(shù)全解析
摘要
本文針對(duì)智能制造領(lǐng)域機(jī)器人視覺感知中的三維視覺成像技術(shù)進(jìn)行綜述,系統(tǒng)地總結(jié)了一些有代表性的機(jī)器人視覺成像方法的特點(diǎn)和實(shí)際應(yīng)用中的局限性,內(nèi)容涉及飛行時(shí)間三維成像、點(diǎn)線掃描三維成像、色散共焦成像、結(jié)構(gòu)光投影三維成像、光學(xué)偏折成像、單目與多目立體視覺三維成像和光場(chǎng)成像等。繪制了各種視覺成像的圖譜,并探討了機(jī)器人手眼系統(tǒng)最佳三維成像方法。
在工業(yè)4.0時(shí)代，國家智能制造高速發(fā)展，傳統(tǒng)的編程來執(zhí)行某一動(dòng)作的機(jī)器人已經(jīng)難以滿足現(xiàn)今的自動(dòng)化需求。在很多應(yīng)用場(chǎng)景下，需要為工業(yè)機(jī)器人安裝一雙眼睛，即機(jī)器人視覺成像感知系統(tǒng)，使機(jī)器人具備識(shí)別、分析、處理等更高級(jí)的功能，可以正確對(duì)目標(biāo)場(chǎng)景的狀態(tài)進(jìn)行判斷與分析，做到靈活地自行解決發(fā)生的問題。
一、機(jī)器視覺系統(tǒng)組成
典型的機(jī)器視覺系統(tǒng)可以分為：圖像采集部分、圖像處理部分和運(yùn)動(dòng)控制部分。基于PC的視覺系統(tǒng)具體由如圖1所示的幾部分組成：
圖1 機(jī)器視覺系統(tǒng)組成
①工業(yè)相機(jī)與工業(yè)鏡頭——這部分屬于成像器件，通常的視覺系統(tǒng)都是由一套或者多套這樣的成像系統(tǒng)組成，如果有多路相機(jī)，可能由圖像卡切換來獲取圖像數(shù)據(jù)，也可能由同步控制同時(shí)獲取多相機(jī)通道的數(shù)據(jù)。根據(jù)應(yīng)用的需要相機(jī)可能是輸出標(biāo)準(zhǔn)的單色視頻（RS-170/CCIR）、復(fù)合信號(hào)（Y/C）、RGB信號(hào)，也可能是非標(biāo)準(zhǔn)的逐行掃描信號(hào)、線掃描信號(hào)、高分辨率信號(hào)等。
②光源——作為輔助成像器件，對(duì)成像質(zhì)量的好壞往往能起到至關(guān)重要的作用，各種形狀的LED燈、高頻熒光燈、光纖鹵素?zé)舻榷既菀椎玫健?/span>
展開 光譜成像技術(shù)如何重塑視覺邊界？
</p><p><strong>二、按光譜分辨率分類</strong></p><p><strong>（1）多光譜成像儀</strong></p><p>獲得的目標(biāo)物的波段數(shù)在3~12之間，光譜分辨率一般在10nm-30nm，主要用于農(nóng)作物分類等方面。</p><p><strong>（2）高光譜成像儀</strong></p><p>獲得的目標(biāo)物的波段數(shù)在100~200之間，光譜分辨率在10nm左右，被廣泛用于礦物勘探、醫(yī)學(xué)腫瘤邊界檢測(cè)、工業(yè)質(zhì)檢中。</p><p><strong>（3）超光譜成像儀</strong></p><p>獲得的目標(biāo)物的波段數(shù)在1000~10000之間，光譜分辨率在1nm以下，通常用于大氣微粒探測(cè)等精細(xì)探測(cè)領(lǐng)域及實(shí)驗(yàn)室級(jí)分子光譜分析中。 </p><p><strong>三、按技術(shù)原理分類</strong></p><p><strong>（1）色散型（根據(jù)色散原理）</strong></p><p>通過棱鏡或光柵分光，直接分離不同波長的光。<strong>該技術(shù)成本低廉，能夠同時(shí)對(duì)所有波長進(jìn)行成像，技術(shù)比較成熟。但同一時(shí)刻只能獲得一條線的影像，光譜分辨率容易受到狹縫寬度的限制，很難做到5nm以下。</strong>通常應(yīng)用于工業(yè)線掃描相機(jī)、醫(yī)學(xué)影像等。
展開 光刻技術(shù)第7期 | 二維與三維矢量成像模型對(duì)比-零波像差雙遠(yuǎn)心成像
光刻成像模型中x-y坐標(biāo)系和i-j坐標(biāo)系示意圖
在二維矢量成像模型中，光瞳面的瓊斯矩陣（二維形式）可以轉(zhuǎn)換為3×3的矩陣（適配三維分析）：只需借助入瞳側(cè)轉(zhuǎn)換矩陣T?與出瞳側(cè)轉(zhuǎn)換矩陣T?，將這兩個(gè)矩陣與瓊斯矩陣依次結(jié)合，即可得到對(duì)應(yīng)的三維矩陣。
而這兩個(gè)轉(zhuǎn)換矩陣的參數(shù)，由入瞳、出瞳處衍射光的方向余弦決定（比如入瞳的α?、β?、γ?，出瞳的α?、β?、γ?）——這些方向信息是實(shí)現(xiàn)二維到三維矩陣轉(zhuǎn)換的關(guān)鍵支撐。
坐標(biāo)系一致性與矩陣等價(jià)條件
?物方坐標(biāo)系一致性：若光刻成像模型中各級(jí)次衍射光從物面到入瞳面的i-j坐標(biāo)系，與光線追跡中對(duì)應(yīng)光線在第一個(gè)面前的i-j坐標(biāo)系一致，則Oo與To相等；否則不相等。
?像方坐標(biāo)系一致性：若各級(jí)次衍射光從出瞳面到像面的i-j坐標(biāo)系，與光線追跡中對(duì)應(yīng)光線在最后一個(gè)面后的i-j坐標(biāo)系一致，則Oi與Ti相等；否則不相等。
零像差雙遠(yuǎn)心物鏡下的一致性
當(dāng)采用零像差雙遠(yuǎn)心物鏡時(shí)，二維矢量成像模型的假設(shè)成立：
?成像模型中入瞳面各級(jí)衍射光傳播方向與光線追跡中對(duì)應(yīng)光線在第一個(gè)面前的傳播方向相同；
?出瞳面各級(jí)衍射光傳播方向與光線追跡中對(duì)應(yīng)光線在最后一個(gè)面后的傳播方向相同。
因此，成像模型中各級(jí)次衍射光在物方和像方的i-j坐標(biāo)系，與光線追跡中對(duì)應(yīng)光線的i-j坐標(biāo)系相同，即Oo與To、Oi與Ti相等，三維矢量成像模型和二維矢量成像模型仿真結(jié)果相同。
03/先進(jìn)技術(shù)與未來發(fā)展方向
1. 先進(jìn)制程與新光源適配升級(jí)
面向3nm及以下節(jié)點(diǎn)，開發(fā)EUV光刻雙遠(yuǎn)心物鏡適配的三維矢量模型，深化極紫外光與遠(yuǎn)心偏振光路的耦合作用機(jī)制研究。針對(duì)高NA雙遠(yuǎn)心物鏡（NA>1.5），構(gòu)建“遠(yuǎn)心度-偏振態(tài)-深度衍射”多物理量耦合模型，解決超高清三維圖形的成像畸變問題。
展開 光刻技術(shù)第8期 | 二維與三維矢量成像模型對(duì)比-零波像差非雙遠(yuǎn)心成像
01/簡(jiǎn)介
零波像差非雙遠(yuǎn)心物鏡憑借“波前畸變趨近于零、適配大視場(chǎng)與復(fù)雜物距場(chǎng)景”的優(yōu)勢(shì)，在精密光刻、微納檢測(cè)等領(lǐng)域廣泛應(yīng)用，但其視場(chǎng)邊緣物像比例變化特性，對(duì)成像模型的維度適配性提出更高要求。
二維矢量成像模型雖能表征平面圖形偏振態(tài)，卻因忽略深度光場(chǎng)耦合、厚掩模衍射及視場(chǎng)-深度耦合效應(yīng)，無法精準(zhǔn)預(yù)測(cè)三維圖形成像質(zhì)量。三維矢量成像模型通過全空間矢量光場(chǎng)建模，可精準(zhǔn)捕捉非雙遠(yuǎn)心光路下三維偏振演化與深度衍射規(guī)律，成為破解瓶頸的關(guān)鍵。本文以零波像差非雙遠(yuǎn)心成像為視角，對(duì)比二維與三維模型適配性，重點(diǎn)聚焦三維模型應(yīng)用機(jī)理，為先進(jìn)三維制程光刻精度提升提供支撐。
02/三維矢量成像模型在零波像差非雙遠(yuǎn)心物鏡中的應(yīng)用
遠(yuǎn)心度與模型差異的量化關(guān)系
各級(jí)衍射光主光線轉(zhuǎn)動(dòng)關(guān)系示意圖
物鏡像方遠(yuǎn)心度衡量：投影物鏡像方主光線方向單位矢量[kx,ky,kz]，用kx/kz,ky/kz表示。
模型差異隨kx/kz的變化：kx/kz增大10倍，仿真結(jié)果差異增大100倍左右；當(dāng)kx/kz從10-3變化到10-1時(shí)，差異從10-6量級(jí)變化到10-2量級(jí)。
零像差非雙遠(yuǎn)心物鏡下的差異量化
仿真條件：接觸孔掩模、中心點(diǎn)光源X偏振照明、物鏡像方kx/ky=0.1、瓊斯矩陣為單位矩陣。
掩模圖形示意圖
差異結(jié)果：二維與三維模型空間像相對(duì)強(qiáng)度分布差異在10-2量級(jí)，最大絕對(duì)差值9.3x10-2、平均絕對(duì)值差4.5x10-2、差值均方根5.1x10-2。
二維矢量成像模型與三維矢量成像模型仿真零像差非遠(yuǎn)心物鏡成像結(jié)果
結(jié)論：三維矢量成像模型預(yù)測(cè)非雙遠(yuǎn)心物鏡成像更精確。
展開 
一文了解目前所有的視覺三維重建技術(shù)
基于視覺的三維重建關(guān)鍵技術(shù)研究綜述. 自動(dòng)化學(xué)報(bào), 2020, 46(4): 631-652. doi: 10.16383/j.aas.2017.c170502
三維重建經(jīng)過數(shù)十年的發(fā)展, 已經(jīng)取得巨大的成功。基于視覺的三維重建在計(jì)算機(jī)領(lǐng)域是一個(gè)重要的研究內(nèi)容, 主要通過使用相關(guān)儀器來獲取物體的二維圖像數(shù)據(jù)信息, 然后, 再對(duì)獲取的數(shù)據(jù)信息進(jìn)行分析處理, 最后, 利用三維重建的相關(guān)理論重建出真實(shí)環(huán)境中物體表面的輪廓信息。基于視覺的三維重建具有速度快、實(shí)時(shí)性好等優(yōu)點(diǎn), 能夠廣泛應(yīng)用于人工智能、機(jī)器人、無人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現(xiàn)實(shí)和3D打印等領(lǐng)域。三維重建技術(shù)的分類方法如下圖所示：
三維重建技術(shù)的分類
三維重建技術(shù)優(yōu)缺點(diǎn)對(duì)比一覽
基于主動(dòng)視覺的三維重建技術(shù)
基于主動(dòng)視覺的三維重建技術(shù)主要包括激光掃描法、結(jié)構(gòu)光法、陰影法和TOF技術(shù)、雷達(dá)技術(shù)、Kinect技術(shù)等。
1、激光掃描法
激光掃描法其實(shí)就是利用激光測(cè)距儀來進(jìn)行真實(shí)場(chǎng)景的測(cè)量。首先, 激光測(cè)距儀發(fā)射光束到物體的表面, 然后, 根據(jù)接收信號(hào)和發(fā)送信號(hào)的時(shí)間差確定物體離激光測(cè)距儀的距離, 從而獲得測(cè)量物體的大小和形狀。
展開 光刻技術(shù)第6期 | 三維嚴(yán)格矢量光刻成像
04/先進(jìn)技術(shù)與未來發(fā)展方向
厚掩模衍射精準(zhǔn)建模技術(shù)突破了傳統(tǒng)薄掩模近似瓶頸，基于嚴(yán)格耦合波分析（RCWA）與時(shí)域有限差分（FDTD）方法，構(gòu)建厚掩模多層結(jié)構(gòu)的電磁散射模型，通過旋轉(zhuǎn)變換與維度縮減算法降低計(jì)算開銷，實(shí)現(xiàn)掩模吸收層散射效應(yīng)的精確表征，在14nm以下節(jié)點(diǎn)將衍射近場(chǎng)預(yù)測(cè)誤差控制在5%以內(nèi)。針對(duì)EUV光刻高寬比掩模，開發(fā)多材質(zhì)耦合衍射模型，解決Ta吸收層深度衍射帶來的成像畸變問題。
三維偏振像差調(diào)控技術(shù)通過建立“視場(chǎng)-深度”二維偏振像差映射模型，采用瓊斯矩陣張量表征偏振態(tài)的三維演化規(guī)律，結(jié)合全視場(chǎng)多目標(biāo)優(yōu)化算法，實(shí)現(xiàn)偏振像差的定量分離與動(dòng)態(tài)校正。創(chuàng)新偏振-光瞳協(xié)同優(yōu)化策略，在3D NAND堆疊圖形中，將偏振像差導(dǎo)致的CD偏差從12nm降至3nm以內(nèi)。
此外，面向3nm及以下節(jié)點(diǎn)，構(gòu)建EUV光刻專屬三維矢量模型，深化極紫外光與多層掩模的矢量相互作用機(jī)制研究。針對(duì)垂直堆疊結(jié)構(gòu)，開發(fā)“深度-偏振-劑量”多維度耦合優(yōu)化模型，實(shí)現(xiàn)亞納米級(jí)CD均勻性控制。
通過推進(jìn)AI與物理驅(qū)動(dòng)建模的深度融合，利用Transformer架構(gòu)捕捉三維光場(chǎng)長距離依賴關(guān)系，結(jié)合FPGA硬件加速實(shí)現(xiàn)毫秒級(jí)動(dòng)態(tài)光場(chǎng)仿真。探索數(shù)字孿生技術(shù)應(yīng)用，搭建光刻過程虛實(shí)映射系統(tǒng)，實(shí)現(xiàn)三維模型參數(shù)的實(shí)時(shí)自適應(yīng)調(diào)整。
展開 光刻技術(shù)第9期 | 二維與三維矢量成像模型對(duì)比-含相差物鏡的應(yīng)用
特殊場(chǎng)景的模型差異
在某些仿真條件下（如特定偏振與掩模組合），兩模型差異可低至10-5量級(jí)（最大絕對(duì)差值1.7x10-4、平均絕對(duì)值差5.3x10-5、差值均方根7.9x10-5），但此類場(chǎng)景不影響“含像差時(shí)三維模型更精確”的核心結(jié)論。
仿真條件：采用L&S 掩模，中心點(diǎn)光源偏振照明。物鏡 F1視場(chǎng)點(diǎn)的波像差和偏振像差，仿真像面y=0的相對(duì)強(qiáng)度分布。
在上述仿真條件下，利用三維矢量成像模型計(jì)算空間像的相對(duì)強(qiáng)度分布，并與二維矢量成像模型計(jì)算的空間像相對(duì)強(qiáng)度分布對(duì)比。二維和三維矢量成像模型仿真結(jié)果的差異如圖所示。
二維和三維矢量成像模型仿真結(jié)果的差異
結(jié)論：在某些仿真條件下，兩模型仿真結(jié)果差異并不明顯。
03/先進(jìn)技術(shù)與未來發(fā)展方向
針對(duì)球差、彗差及偏振像差等，構(gòu)建“像差-矢量光場(chǎng)-深度衍射”耦合模型，采用瓊斯矩陣與澤尼克多項(xiàng)式聯(lián)合表征像差介導(dǎo)的偏振演化，結(jié)合嚴(yán)格耦合波分析（RCWA）精準(zhǔn)計(jì)算厚掩模衍射，14nm節(jié)點(diǎn)三維圖形CD預(yù)測(cè)誤差可以≤3.5nm；開發(fā)像差權(quán)重動(dòng)態(tài)分配算法，聚焦高影響像差區(qū)域優(yōu)化，通過光源-掩模-像差協(xié)同調(diào)控，可以將像差導(dǎo)致的CD偏差從15nm降至4nm。
展開 【EI會(huì)議】光學(xué)、成像與計(jì)算機(jī)視覺國際學(xué)術(shù)會(huì)議 (OMCV 2023)
光學(xué)、成像與計(jì)算機(jī)視覺國際學(xué)術(shù)會(huì)議(OMCV 2023)
International Conference on Optics, Imaging and Computer Vision (OMCV 2023)
2023年12月08-10日/ 海南 海口
光學(xué)、成像與計(jì)算機(jī)視覺國際學(xué)術(shù)會(huì)議(OMCV 2023)將于 2023 年 12 月 08-10 日 在中國海口舉行。
本次會(huì)議將圍繞光學(xué)、成像技術(shù)、計(jì)算機(jī)視覺等研究領(lǐng)域展開討論，為來自相關(guān)領(lǐng)域的專家學(xué)者、工程技術(shù)人員、技術(shù)研發(fā)人員等提供一個(gè)良好的學(xué)術(shù)交流平臺(tái)，共享科研成果和前沿技術(shù)，了解學(xué)術(shù)發(fā)展趨勢(shì)，拓寬研究思路，加強(qiáng)學(xué)術(shù)研究和探討。在此謹(jǐn)代表OMCV組委會(huì)誠摯歡迎各位專家學(xué)者踴躍參會(huì)！
OMCV 2023已正式啟動(dòng)，歡迎投稿，參會(huì)或申請(qǐng)成為外部評(píng)審人~
征稿領(lǐng)域
光學(xué)奠定了圖像處理和人工視覺的基礎(chǔ)，激光、光纖、電荷耦合器件等發(fā)展，為成像和計(jì)算機(jī)視覺提供了巨大前景。OMCV 2023現(xiàn)征集關(guān)于成像和視覺領(lǐng)域的技術(shù)及應(yīng)用的原創(chuàng)性文章，特別歡迎有光學(xué)背景的成像和視覺的跨學(xué)科產(chǎn)出。
The topics of interest include, but are not limited to:
圖像和視頻處理
計(jì)算機(jī)視覺
場(chǎng)景建模（包括三維光學(xué)成像）
與圖像有關(guān)的機(jī)器學(xué)習(xí)
物體識(shí)別、跟蹤和運(yùn)動(dòng)分析
基于視覺的人機(jī)交互
光譜成像
生物醫(yī)學(xué)成像
計(jì)算機(jī)攝影
超高分辨電子顯微鏡
出版與檢索
OMCV2023錄用并展示的文章將以會(huì)議論文集形式出版, 見刊后由出版社提交 Ei Compendex, Scopus, Web of Science Conference Proceedings Citation Index 等數(shù)據(jù)庫。
展開 計(jì)算成像的“光學(xué)憲法”：以相位調(diào)制為靈魂的AI視覺新范式
大腦視覺皮層 （神經(jīng)解碼與計(jì)算重建相位信息）
相位恢復(fù)算法
功能等價(jià)。均基于特定算法，從有限光強(qiáng)記錄中恢復(fù)被編碼的物理真實(shí)信息。
4.2 人眼的啟示與威睛的超越
人眼視覺的進(jìn)化，不追求“硬件完美”光學(xué)，而是追求“硬件編碼 + 神經(jīng)解碼”的整體性能最優(yōu)。這種“計(jì)算成像”策略，使得人眼能以極其緊湊的體積，實(shí)現(xiàn)大動(dòng)態(tài)范圍、大景深、全天候、無間斷的高質(zhì)量視覺感知。
威睛光學(xué)的工程化實(shí)踐，正是對(duì)這一策略的系統(tǒng)性復(fù)現(xiàn)與超越：
速度超越：人眼睫狀肌調(diào)節(jié)晶狀體需幾百毫秒；液體透鏡或超構(gòu)表面的電子調(diào)控可達(dá)毫秒量級(jí)。
精度超越：人眼的神經(jīng)解碼是一個(gè)“近似完美”的過程，存在諸多視錯(cuò)覺和不精確恢復(fù)；威睛的數(shù)學(xué)反卷積是“精確到光子計(jì)數(shù)”的物理恢復(fù)。
維度超越：人眼可感知的維度有限（三維+顏色）；超構(gòu)表面編碼可同時(shí)恢復(fù)光譜、偏振、深度等更多維度的信息，將機(jī)器視覺從“三維感知”推向“多維感知”。
可靠性超越：人眼易受疲勞、情緒、病理性問題影響；工程化的相位調(diào)制系統(tǒng)，其解碼一致性不受“精神狀態(tài)”影響，適合大規(guī)模工業(yè)部署。
這種超越，并非否定人眼的精妙，而恰恰是在理解人眼策略后的工程升華——將生物系統(tǒng)在物理極限約束下的終極優(yōu)雅設(shè)計(jì)，用現(xiàn)代工程學(xué)手段進(jìn)行復(fù)現(xiàn)、抽象與超越，最終創(chuàng)造出現(xiàn)階段技術(shù)條件下所能達(dá)到的、擁有更高保真度、更快響應(yīng)、更強(qiáng)環(huán)境適應(yīng)性的“機(jī)眼”。
4.3 人眼類比揭示的核心價(jià)值
將威睛技術(shù)體系與人眼光學(xué)系統(tǒng)進(jìn)行并置，可清晰看見其更深層的產(chǎn)業(yè)意義：
威睛光學(xué)所構(gòu)建的，不是一個(gè)簡(jiǎn)單的產(chǎn)業(yè)升級(jí)工具，而是一個(gè)以“仿生”謀“原創(chuàng)”的基石型平臺(tái)。 它以“相位調(diào)制”為核心的科學(xué)原理，利用工程材料構(gòu)建了一套從硬件到算法的、超越生命體光學(xué)極限的高保真視覺體系。
展開 無人車業(yè)務(wù)中的視覺三維重建
GNSS+視覺解決方案13
對(duì)于這種性價(jià)比極高的眾包方案，技術(shù)上有很多難關(guān)要攻克。例如如何高效合理的對(duì)原始采集數(shù)據(jù)進(jìn)行回傳與篩選，如何指定特定的區(qū)域進(jìn)行更新，如何克服低價(jià)傳感器帶來的各種誤差，如何解決設(shè)備多樣性帶來的誤差等等。同時(shí)，如果真的將這種方式投入到規(guī)模化的高精地圖生產(chǎn)，還需要解決好法律上的測(cè)繪合規(guī)的問題。
本文要介紹的視覺重建算法，正是這種高性價(jià)比重建方案中的核心技術(shù)。接下來，將基于這種GNSS+視覺的采集方式，介紹一下幾類可行的視覺重建系統(tǒng)設(shè)計(jì)方案。
視覺重建的系統(tǒng)設(shè)計(jì)
基于不同業(yè)務(wù)場(chǎng)景，數(shù)據(jù)特點(diǎn)，研發(fā)人員可以為視覺重建設(shè)計(jì)不同的算法流程。這里簡(jiǎn)單介紹三類：基于Structure-from-Motion的重建、基于深度網(wǎng)絡(luò)的視覺重建、基于語義的矢量化視覺重建。下面將一一進(jìn)行介紹。
2.1 基于Structure-from-Motion的重建
在視覺高精地圖重建方面，Structure-form-Motion (SfM) 方案是非常常見的選擇。從業(yè)務(wù)需求上講，建圖大多無實(shí)時(shí)性要求，而對(duì)精度的要求較為嚴(yán)格。相比之下，各種VO或SLAM方案要追求實(shí)時(shí)性，同時(shí)其最終的目的更傾向于定位，而非建圖。SfM方案更強(qiáng)調(diào)建圖的精度，方案中并無時(shí)序性要求。這為地圖的長期維護(hù)提供了便利。典型的SfM重建流程大致可以分為特征提取、稀疏重建，稠密重建三個(gè)步驟。
Colmap中的SfM重建流程1?
特征與匹配
在SfM中，首先要進(jìn)行的就是特征點(diǎn)的提取與匹配工作。這一部分中，最經(jīng)典的莫過于SIFT特征子1。如果不限制具體的應(yīng)用場(chǎng)景（室內(nèi) vs.
展開 基于激光+視覺+IMU+RTK的三維重建
三維重建主要通過使用相關(guān)儀器來獲取物體的二維圖像或三維點(diǎn)云等數(shù)據(jù)信息, 然后, 再對(duì)獲取的數(shù)據(jù)信息進(jìn)行分析處理, 最后, 利用三維重建的相關(guān)理論重建出真實(shí)環(huán)境中物體表面的輪廓信息，廣泛應(yīng)用于人工智能、機(jī)器人、無人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現(xiàn)實(shí)和 3D 打印等領(lǐng)域, 具有重要的研究價(jià)值也是未來發(fā)展的重要研究方向。
三維重建技術(shù)分類如下圖所示
三維重建技術(shù)分類
目前三維重建方法較多，但主要聚焦在激光和視覺，因?yàn)槎吣茌敵鲚^出色的重建效果，激光和視覺重建的效果又有一些差異：
激光重建精度較高，不受光線影響，但是不具有顏色屬性。
視覺重建精度一般，具有顏色屬性，但效果易受光線影響。
無論是激光和是視覺做三維重建都需要做特征匹配，但是匹配都不能保證精度足夠，在一些特征不好的時(shí)候，建圖的效果較差，所以一般會(huì)加入IMU做匹配約
束，IMU傳感器能智能地融合多軸陀螺儀和加速度計(jì)，即只用內(nèi)部傳感器就可以得到測(cè)量數(shù)據(jù)，而不需要任何外界幫助，提供可靠的位置和運(yùn)動(dòng)識(shí)別。
IMU在三維重建中采用的方法一般是通過卡爾曼濾波器或者優(yōu)化的預(yù)積分模型進(jìn)行對(duì)匹配進(jìn)行相對(duì)約束，能大大提升匹配的精度和魯棒性。
基于濾波的IMU融合框架如下圖所示
基于濾波的IMU融合
基于優(yōu)化的IMU融合如下圖所示
基于優(yōu)化的IMU融合
兩種融合方式都有其應(yīng)用的優(yōu)點(diǎn)，基于濾波的計(jì)算量小，基于優(yōu)化的計(jì)算兩較大，精度一般高于濾波方法。
激光三維重建的匹配原理如下圖所示
激光三維重建過程
激光匹配的本質(zhì)就是對(duì)應(yīng)點(diǎn)關(guān)聯(lián)，做剛體變換完成，典型算法是ICP,NDT。
展開 
空間視覺技術(shù)接替算法視覺推動(dòng)實(shí)現(xiàn)完全自動(dòng)駕駛
基于現(xiàn)有成像設(shè)備，機(jī)器視覺之算法視覺實(shí)現(xiàn)完全自動(dòng)駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點(diǎn)陣，是失真不可靠的數(shù)據(jù)，算法再完美，數(shù)據(jù)不可靠，結(jié)果自然不可靠。空間視覺技術(shù)重塑了成像設(shè)備結(jié)構(gòu)和控制方法，使其獲得完整 一 一對(duì)標(biāo)的數(shù)據(jù)鏈，生成3維坐標(biāo)顏色點(diǎn)陣，連續(xù)坐標(biāo)點(diǎn)陣即景物輪廓，空間視覺技術(shù)重新定義的相機(jī)，使其完成從生成相片到生成場(chǎng)景的進(jìn)化，場(chǎng)景實(shí)現(xiàn)數(shù)字孿生到平行空間飛越，實(shí)現(xiàn)方法從計(jì)算模擬變成實(shí)時(shí)映射。
基于立體視覺的自動(dòng)駕駛三維目標(biāo)檢測(cè)，精度可媲美激光雷達(dá)！
來源 |
AI修煉之路
介紹
三維目標(biāo)檢測(cè)是自動(dòng)駕駛和虛擬現(xiàn)實(shí)中重要的場(chǎng)景理解任務(wù)。考慮到激光雷達(dá)成本昂貴，本文提出一個(gè)基于立體視覺的3D目標(biāo)檢測(cè)方法。針對(duì)目標(biāo)深度估計(jì)是影響三維目標(biāo)檢測(cè)性能的關(guān)鍵因素，提出了一種基于「實(shí)例深度感知」、「視差自適應(yīng)」和「匹配代價(jià)調(diào)整」的三維包圍盒中心深度預(yù)測(cè)模塊。此外，我們的模型是一個(gè)「端到端」的學(xué)習(xí)框架，不需要多個(gè)階段或后處理算法。我們?cè)贙ITTI基準(zhǔn)上進(jìn)行了詳細(xì)的實(shí)驗(yàn)，與現(xiàn)有的基于圖像的方法相比，取得了顯著的改進(jìn)。
代碼開源：https://github.com/swords123/IDA-3D
一、引言
在本工作中，我們提出了一種基于立體視覺的三維目標(biāo)檢測(cè)方法，該方法在訓(xùn)練過程中不依賴于激光雷達(dá)數(shù)據(jù)作為輸入或監(jiān)督，而只使用帶有相應(yīng)標(biāo)注的三維邊界盒的RGB圖像作為訓(xùn)練數(shù)據(jù)。
首先利用立體區(qū)域提議網(wǎng)絡(luò)(RPN)從背景中提取目標(biāo)，消除其對(duì)三維目標(biāo)檢測(cè)的干擾。由于對(duì)象實(shí)例的深度估計(jì)是影響三維對(duì)象檢測(cè)性能的關(guān)鍵因素，因此我們?cè)O(shè)計(jì)了一個(gè)獨(dú)立的 「實(shí)例深度感知(IDA)」 模塊來預(yù)測(cè)對(duì)象三維邊界盒的中心深度。
不像以前基于立體的方法計(jì)算圖像之間每個(gè)像素的對(duì)應(yīng)關(guān)系，我們測(cè)量每個(gè)實(shí)例的對(duì)應(yīng)關(guān)系，把更多關(guān)注放在對(duì)象的全局空間信息。
為了減小對(duì)遠(yuǎn)處目標(biāo)深度估計(jì)的誤差，我們根據(jù)目標(biāo)的位置「自適應(yīng)地調(diào)整代價(jià)體中的視差等級(jí)的范圍」，并將視差等級(jí)的均勻量化轉(zhuǎn)換為非均勻量化。「匹配代價(jià)也被重新加權(quán)」，通過懲罰對(duì)對(duì)象實(shí)例不是唯一的深度級(jí)別，并提升具有高概率的深度級(jí)別，從而使深度估計(jì)更具鑒別性。所提出的體系結(jié)構(gòu)的概述如圖1所示。
展開 基于 COMSOL-MATLAB 聯(lián)合仿真的參數(shù)化三維心臟電阻抗成像模型
摘要：電阻抗成像（Electrical Impedance Tomography, EIT）是一種無創(chuàng)的體內(nèi)電導(dǎo)率分布重建技術(shù)，廣泛應(yīng)用于心肺功能監(jiān)測(cè)等生物醫(yī)學(xué)領(lǐng)域。為實(shí)現(xiàn)更貼近生理狀態(tài)的心臟動(dòng)態(tài)仿真，本研究構(gòu)建了一個(gè)可參數(shù)化的三維心臟模型，并通過 COMSOL Multiphysics 與 MATLAB 平臺(tái)聯(lián)合實(shí)現(xiàn)仿真。模型在心臟表面布置了24個(gè)電極，支持多組電流激勵(lì)與電壓采集；同時(shí)，通過正弦函數(shù)表達(dá)式實(shí)現(xiàn)對(duì)心臟收縮周期的模擬。借助 COMSOL API 與 MATLAB 腳本，完成了24組電流注入下的電場(chǎng)、電壓與電流密度仿真計(jì)算。進(jìn)一步，提取了電場(chǎng)各方向分量并構(gòu)建了靈敏度矩陣（Jacobian matrix），為后續(xù)電導(dǎo)率反演與圖像重建提供基礎(chǔ)。該平臺(tái)可用于動(dòng)態(tài)心臟 EIT 正問題研究，并支持圖像反演算法訓(xùn)練及病變模擬拓展。
關(guān)鍵詞：電阻抗成像；心臟模型；三維參數(shù)化；COMSOL；MATLAB；靈敏度矩陣；電極仿真；電導(dǎo)率重建
一、任務(wù)描述
本任務(wù)旨在構(gòu)建一個(gè)三維參數(shù)化心臟模型，基于 COMSOL Multiphysics 與 MATLAB 聯(lián)合仿真平臺(tái)，進(jìn)行24電極電阻抗掃描，實(shí)現(xiàn)電導(dǎo)率圖像重建和電流密度場(chǎng)可視化，為心臟功能建模與EIT成像研究提供高精度模擬平臺(tái)，如圖1所示。
圖1 三維參數(shù)化心臟模型
二、子任務(wù)細(xì)分
a) 心臟幾何建模與參數(shù)化運(yùn)動(dòng)
目標(biāo)：構(gòu)建含時(shí)間參數(shù)化收縮的心臟模型，實(shí)現(xiàn)隨時(shí)間變化的生理形態(tài)模擬。
步驟：在 COMSOL 中定義變量 L0, f, Lt 控制心臟收縮；使用拉伸 + 橢球構(gòu)建心臟主體；添加24個(gè)電極柱體，進(jìn)行鏡像與移動(dòng)；實(shí)現(xiàn)形變表達(dá)式 Lt = L0*(1 - 0.1*sin(2*pi*f*time))。
展開 懸浮成像技術(shù)與VR，Ansys Speos光學(xué)在手機(jī)背殼立體成像中的應(yīng)用
為了實(shí)現(xiàn)手機(jī)外觀設(shè)計(jì)的差異化，各家廠商開始在手機(jī)背殼上越來越多地應(yīng)用新型光學(xué)成像技術(shù)。當(dāng)前，使用集成成像技術(shù)的懸浮成像技術(shù)開始被多家手機(jī)廠商應(yīng)用于其高端型號(hào)的背板設(shè)計(jì)上。
懸浮成像技術(shù)，又稱空中成像技術(shù)，是一種通過特殊的光學(xué)裝置將圖像投射到空中，形成懸浮在空中的三維立體影像技術(shù)。作為一種全新的顯示和交互技術(shù)，懸浮成像技術(shù)的獨(dú)特魅力體現(xiàn)在其能夠在無實(shí)體接觸的情況下實(shí)現(xiàn)立體、真實(shí)的空中成像，并支持直觀的人機(jī)交互體驗(yàn)。
近年來，在相關(guān)企業(yè)的積極推動(dòng)下，搭載這一先進(jìn)技術(shù)的產(chǎn)品正在逐步從實(shí)驗(yàn)室走向市場(chǎng)，實(shí)現(xiàn)商業(yè)化落地。例如，部分智能座艙、懸浮精靈以及車載顯示產(chǎn)品已成功實(shí)現(xiàn)了規(guī)模化量產(chǎn)。但由于懸浮成像技術(shù)的設(shè)計(jì)和仿真難度，供應(yīng)商通常要耗費(fèi)比通常設(shè)計(jì)更多的時(shí)間成本和打樣次數(shù)來獲得理想的產(chǎn)品效果。因此，供應(yīng)商們需要通過光學(xué)仿真軟件來實(shí)現(xiàn)最優(yōu)的產(chǎn)品解決方案。
作為一款專業(yè)用于光學(xué)設(shè)計(jì)、環(huán)境與視覺模擬系統(tǒng)、成像應(yīng)用的光學(xué)仿真軟件，Ansys Speos提供完美的可視化光學(xué)系統(tǒng)和直觀的人機(jī)交互平臺(tái)。基于三維模型CAD數(shù)據(jù)，Ansys Speos進(jìn)行人眼視覺分析和人因環(huán)境評(píng)估，在產(chǎn)品設(shè)計(jì)階段對(duì)方案可行性進(jìn)行驗(yàn)證，在設(shè)計(jì)前期發(fā)現(xiàn)、反饋和處理問題，實(shí)現(xiàn)最優(yōu)的產(chǎn)品解決方案。
基于此，7月18日，Ansys 系列網(wǎng)絡(luò)研討會(huì)將推出「Ansys 光學(xué)在手機(jī)背殼立體成像中的應(yīng)用」主題。在本次研討會(huì)中，將介紹通過Ansys Speos搭建和仿真懸浮成像技術(shù)的方法，幫助設(shè)計(jì)者預(yù)測(cè)產(chǎn)品成像效果，定位設(shè)計(jì)錯(cuò)誤，降低打樣次數(shù)從而降低設(shè)計(jì)成本。另外Ansys Speos 支持在VR頭顯中直接觀察懸浮成像效果，相比于普通屏幕，通過VR頭顯，設(shè)計(jì)者可以直接觀察到產(chǎn)品的懸浮效果，實(shí)現(xiàn)對(duì)設(shè)計(jì)更加高效的評(píng)估。
展開 