三維成像技術的案例
機器人視覺三維成像技術全解析
摘要
本文針對智能制造領域機器人視覺感知中的三維視覺成像技術進行綜述,系統地總結了一些有代表性的機器人視覺成像方法的特點和實際應用中的局限性,內容涉及飛行時間三維成像、點線掃描三維成像、色散共焦成像、結構光投影三維成像、光學偏折成像、單目與多目立體視覺三維成像和光場成像等。繪制了各種視覺成像的圖譜,并探討了機器人手眼系統最佳三維成像方法。
在工業4.0時代，國家智能制造高速發展，傳統的編程來執行某一動作的機器人已經難以滿足現今的自動化需求。在很多應用場景下，需要為工業機器人安裝一雙眼睛，即機器人視覺成像感知系統，使機器人具備識別、分析、處理等更高級的功能，可以正確對目標場景的狀態進行判斷與分析，做到靈活地自行解決發生的問題。
一、機器視覺系統組成
典型的機器視覺系統可以分為：圖像采集部分、圖像處理部分和運動控制部分。基于PC的視覺系統具體由如圖1所示的幾部分組成：
圖1 機器視覺系統組成
①工業相機與工業鏡頭——這部分屬于成像器件，通常的視覺系統都是由一套或者多套這樣的成像系統組成，如果有多路相機，可能由圖像卡切換來獲取圖像數據，也可能由同步控制同時獲取多相機通道的數據。根據應用的需要相機可能是輸出標準的單色視頻（RS-170/CCIR）、復合信號（Y/C）、RGB信號，也可能是非標準的逐行掃描信號、線掃描信號、高分辨率信號等。
②光源——作為輔助成像器件，對成像質量的好壞往往能起到至關重要的作用，各種形狀的LED燈、高頻熒光燈、光纖鹵素燈等都容易得到。
展開 光刻技術第7期 | 二維與三維矢量成像模型對比-零波像差雙遠心成像
光刻成像模型中x-y坐標系和i-j坐標系示意圖
在二維矢量成像模型中，光瞳面的瓊斯矩陣（二維形式）可以轉換為3×3的矩陣（適配三維分析）：只需借助入瞳側轉換矩陣T?與出瞳側轉換矩陣T?，將這兩個矩陣與瓊斯矩陣依次結合，即可得到對應的三維矩陣。
而這兩個轉換矩陣的參數，由入瞳、出瞳處衍射光的方向余弦決定（比如入瞳的α?、β?、γ?，出瞳的α?、β?、γ?）——這些方向信息是實現二維到三維矩陣轉換的關鍵支撐。
坐標系一致性與矩陣等價條件
?物方坐標系一致性：若光刻成像模型中各級次衍射光從物面到入瞳面的i-j坐標系，與光線追跡中對應光線在第一個面前的i-j坐標系一致，則Oo與To相等；否則不相等。
?像方坐標系一致性：若各級次衍射光從出瞳面到像面的i-j坐標系，與光線追跡中對應光線在最后一個面后的i-j坐標系一致，則Oi與Ti相等；否則不相等。
零像差雙遠心物鏡下的一致性
當采用零像差雙遠心物鏡時，二維矢量成像模型的假設成立：
?成像模型中入瞳面各級衍射光傳播方向與光線追跡中對應光線在第一個面前的傳播方向相同；
?出瞳面各級衍射光傳播方向與光線追跡中對應光線在最后一個面后的傳播方向相同。
因此，成像模型中各級次衍射光在物方和像方的i-j坐標系，與光線追跡中對應光線的i-j坐標系相同，即Oo與To、Oi與Ti相等，三維矢量成像模型和二維矢量成像模型仿真結果相同。
03/先進技術與未來發展方向
1. 先進制程與新光源適配升級
面向3nm及以下節點，開發EUV光刻雙遠心物鏡適配的三維矢量模型，深化極紫外光與遠心偏振光路的耦合作用機制研究。針對高NA雙遠心物鏡（NA>1.5），構建“遠心度-偏振態-深度衍射”多物理量耦合模型，解決超高清三維圖形的成像畸變問題。
展開 光刻技術第8期 | 二維與三維矢量成像模型對比-零波像差非雙遠心成像
01/簡介
零波像差非雙遠心物鏡憑借“波前畸變趨近于零、適配大視場與復雜物距場景”的優勢，在精密光刻、微納檢測等領域廣泛應用，但其視場邊緣物像比例變化特性，對成像模型的維度適配性提出更高要求。
二維矢量成像模型雖能表征平面圖形偏振態，卻因忽略深度光場耦合、厚掩模衍射及視場-深度耦合效應，無法精準預測三維圖形成像質量。三維矢量成像模型通過全空間矢量光場建模，可精準捕捉非雙遠心光路下三維偏振演化與深度衍射規律，成為破解瓶頸的關鍵。本文以零波像差非雙遠心成像為視角，對比二維與三維模型適配性，重點聚焦三維模型應用機理，為先進三維制程光刻精度提升提供支撐。
02/三維矢量成像模型在零波像差非雙遠心物鏡中的應用
遠心度與模型差異的量化關系
各級衍射光主光線轉動關系示意圖
物鏡像方遠心度衡量：投影物鏡像方主光線方向單位矢量[kx,ky,kz]，用kx/kz,ky/kz表示。
模型差異隨kx/kz的變化：kx/kz增大10倍，仿真結果差異增大100倍左右；當kx/kz從10-3變化到10-1時，差異從10-6量級變化到10-2量級。
零像差非雙遠心物鏡下的差異量化
仿真條件：接觸孔掩模、中心點光源X偏振照明、物鏡像方kx/ky=0.1、瓊斯矩陣為單位矩陣。
掩模圖形示意圖
差異結果：二維與三維模型空間像相對強度分布差異在10-2量級，最大絕對差值9.3x10-2、平均絕對值差4.5x10-2、差值均方根5.1x10-2。
二維矢量成像模型與三維矢量成像模型仿真零像差非遠心物鏡成像結果
結論：三維矢量成像模型預測非雙遠心物鏡成像更精確。
展開 西安交大 Ungar教授NC：高聚物及其納米復合材料的微觀世界之旅 - 雙光子熒光成像揭示三維空間中高聚物結晶形態的演變機理
但是，目前幾乎所有的表征手段都只能從二維的視角去解析高聚物結晶形態；高聚物結晶形態在真實三維空間的結構信息一直缺乏直觀的實驗證據。
為了揭示三維空間中高聚物結晶形態的演變規律，西安交通大學功能軟材料創新團隊的Goran Ungar教授基于雙光子顯微成像技術開發了針對高聚物及其納米復合材料體系的三維成像技術，成功獲得了高聚物球晶的三維圖像，并且揭示了納米粒子在結晶性高聚物中的分散狀態。通過對等規聚丙烯(iPP)和聚乳酸(PLA)結晶形態的三維成像研究，意外發現PLA納米復合材料靜態下結晶形成了類似“碗”、“花瓶”、“圣杯”等不同于球晶的結晶形態(如圖1所示)。這種非球狀的結晶形態打破了人們對經典高分子物理中靜態條件下高聚物結晶形成球晶的認知，進一步研究揭示了非球狀結晶形態源自于薄膜上下表面兩球晶的成核和生長，球晶生長前沿“depletion”區域的負壓作用產生局部熔體流動，誘導球晶之間產生纖維狀晶體，纖維狀晶體進一步橫向生長最終生成C∞對稱性結晶形態。
圖1. PLA納米復合材料中觀察到的非球狀結晶形態
熒光分子標記物/高聚物體系
如圖2a1-2a4所示，iPP中加入尼羅紅(NR)熒光分子后，熒光顯微鏡下弱熒光強度的圓形區域與偏光顯微鏡下球晶結構相對應；熒光顯微鏡下球晶邊緣呈現亮環在他們前期的研究工作中已被證實是由于球晶生長時，NR分子被排除到球晶的生長前沿[Polymer 191, 122246 (2020)]。圖2a5還展示了熒光顯微成像的另一個優勢，即可以清晰地觀察到球晶碰撞界面由于結晶收縮從蓋玻片表面脫離而產生的牛頓環。為了實現高聚物球晶的三維成像，他們將雙光子熒光成像技術發展至高聚物及其納米復合材料領域。
展開 
光刻技術第6期 | 三維嚴格矢量光刻成像
04/先進技術與未來發展方向
厚掩模衍射精準建模技術突破了傳統薄掩模近似瓶頸，基于嚴格耦合波分析（RCWA）與時域有限差分（FDTD）方法，構建厚掩模多層結構的電磁散射模型，通過旋轉變換與維度縮減算法降低計算開銷，實現掩模吸收層散射效應的精確表征，在14nm以下節點將衍射近場預測誤差控制在5%以內。針對EUV光刻高寬比掩模，開發多材質耦合衍射模型，解決Ta吸收層深度衍射帶來的成像畸變問題。
三維偏振像差調控技術通過建立“視場-深度”二維偏振像差映射模型，采用瓊斯矩陣張量表征偏振態的三維演化規律，結合全視場多目標優化算法，實現偏振像差的定量分離與動態校正。創新偏振-光瞳協同優化策略，在3D NAND堆疊圖形中，將偏振像差導致的CD偏差從12nm降至3nm以內。
此外，面向3nm及以下節點，構建EUV光刻專屬三維矢量模型，深化極紫外光與多層掩模的矢量相互作用機制研究。針對垂直堆疊結構，開發“深度-偏振-劑量”多維度耦合優化模型，實現亞納米級CD均勻性控制。
通過推進AI與物理驅動建模的深度融合，利用Transformer架構捕捉三維光場長距離依賴關系，結合FPGA硬件加速實現毫秒級動態光場仿真。探索數字孿生技術應用，搭建光刻過程虛實映射系統，實現三維模型參數的實時自適應調整。
展開 前沿進展 | 多焦點光場顯微成像技術
這種相位調制方式使得sLFM技術更具靈活性。在后續的工作中，研究人員將探索更復雜的相位編碼，進一步優化sLFM的成像性能，推動高質量大范圍活體三維成像技術的發展。
主要作者
戴瓊海，教授，博士生導師。清華大學信息學院院長、中國工程院院士、中國人工智能學會理事長。從人工智能立體視覺、計算成像到腦與認知開展了基礎理論與關鍵技術系列研究，承擔了國家973、重大儀器和基礎科學中心等項目。在Nature, Cell, Nature Biotechnology, Nature Methods, Nature Photonics等發表論文百余篇，培養研究生百余名。獲國家技術發明一等獎、國家科技進步獎二等獎、全國高校黃大年式教師團隊。
季向陽，清華大學自動化系教授，獲國家杰出青年科學基金、國家“萬人計劃”領軍人才、中國青年科技獎等人才獎勵。主要研究方向為光學成像、視覺信號獲取與智能處理等。
展開 光刻技術第9期 | 二維與三維矢量成像模型對比-含相差物鏡的應用
特殊場景的模型差異
在某些仿真條件下（如特定偏振與掩模組合），兩模型差異可低至10-5量級（最大絕對差值1.7x10-4、平均絕對值差5.3x10-5、差值均方根7.9x10-5），但此類場景不影響“含像差時三維模型更精確”的核心結論。
仿真條件：采用L&S 掩模，中心點光源偏振照明。物鏡 F1視場點的波像差和偏振像差，仿真像面y=0的相對強度分布。
在上述仿真條件下，利用三維矢量成像模型計算空間像的相對強度分布，并與二維矢量成像模型計算的空間像相對強度分布對比。二維和三維矢量成像模型仿真結果的差異如圖所示。
二維和三維矢量成像模型仿真結果的差異
結論：在某些仿真條件下，兩模型仿真結果差異并不明顯。
03/先進技術與未來發展方向
針對球差、彗差及偏振像差等，構建“像差-矢量光場-深度衍射”耦合模型，采用瓊斯矩陣與澤尼克多項式聯合表征像差介導的偏振演化，結合嚴格耦合波分析（RCWA）精準計算厚掩模衍射，14nm節點三維圖形CD預測誤差可以≤3.5nm；開發像差權重動態分配算法，聚焦高影響像差區域優化，通過光源-掩模-像差協同調控，可以將像差導致的CD偏差從15nm降至4nm。
展開 懸浮成像技術與VR，Ansys Speos光學在手機背殼立體成像中的應用
為了實現手機外觀設計的差異化，各家廠商開始在手機背殼上越來越多地應用新型光學成像技術。當前，使用集成成像技術的懸浮成像技術開始被多家手機廠商應用于其高端型號的背板設計上。
懸浮成像技術，又稱空中成像技術，是一種通過特殊的光學裝置將圖像投射到空中，形成懸浮在空中的三維立體影像技術。作為一種全新的顯示和交互技術，懸浮成像技術的獨特魅力體現在其能夠在無實體接觸的情況下實現立體、真實的空中成像，并支持直觀的人機交互體驗。
近年來，在相關企業的積極推動下，搭載這一先進技術的產品正在逐步從實驗室走向市場，實現商業化落地。例如，部分智能座艙、懸浮精靈以及車載顯示產品已成功實現了規模化量產。但由于懸浮成像技術的設計和仿真難度，供應商通常要耗費比通常設計更多的時間成本和打樣次數來獲得理想的產品效果。因此，供應商們需要通過光學仿真軟件來實現最優的產品解決方案。
作為一款專業用于光學設計、環境與視覺模擬系統、成像應用的光學仿真軟件，Ansys Speos提供完美的可視化光學系統和直觀的人機交互平臺。基于三維模型CAD數據，Ansys Speos進行人眼視覺分析和人因環境評估，在產品設計階段對方案可行性進行驗證，在設計前期發現、反饋和處理問題，實現最優的產品解決方案。
基于此，7月18日，Ansys 系列網絡研討會將推出「Ansys 光學在手機背殼立體成像中的應用」主題。在本次研討會中，將介紹通過Ansys Speos搭建和仿真懸浮成像技術的方法，幫助設計者預測產品成像效果，定位設計錯誤，降低打樣次數從而降低設計成本。另外Ansys Speos 支持在VR頭顯中直接觀察懸浮成像效果，相比于普通屏幕，通過VR頭顯，設計者可以直接觀察到產品的懸浮效果，實現對設計更加高效的評估。
展開 基于 COMSOL-MATLAB 聯合仿真的參數化三維心臟電阻抗成像模型
摘要：電阻抗成像（Electrical Impedance Tomography, EIT）是一種無創的體內電導率分布重建技術，廣泛應用于心肺功能監測等生物醫學領域。為實現更貼近生理狀態的心臟動態仿真，本研究構建了一個可參數化的三維心臟模型，并通過 COMSOL Multiphysics 與 MATLAB 平臺聯合實現仿真。模型在心臟表面布置了24個電極，支持多組電流激勵與電壓采集；同時，通過正弦函數表達式實現對心臟收縮周期的模擬。借助 COMSOL API 與 MATLAB 腳本，完成了24組電流注入下的電場、電壓與電流密度仿真計算。進一步，提取了電場各方向分量并構建了靈敏度矩陣（Jacobian matrix），為后續電導率反演與圖像重建提供基礎。該平臺可用于動態心臟 EIT 正問題研究，并支持圖像反演算法訓練及病變模擬拓展。
關鍵詞：電阻抗成像；心臟模型；三維參數化；COMSOL；MATLAB；靈敏度矩陣；電極仿真；電導率重建
一、任務描述
本任務旨在構建一個三維參數化心臟模型，基于 COMSOL Multiphysics 與 MATLAB 聯合仿真平臺，進行24電極電阻抗掃描，實現電導率圖像重建和電流密度場可視化，為心臟功能建模與EIT成像研究提供高精度模擬平臺，如圖1所示。
圖1 三維參數化心臟模型
二、子任務細分
a) 心臟幾何建模與參數化運動
目標：構建含時間參數化收縮的心臟模型，實現隨時間變化的生理形態模擬。
步驟：在 COMSOL 中定義變量 L0, f, Lt 控制心臟收縮；使用拉伸 + 橢球構建心臟主體；添加24個電極柱體，進行鏡像與移動；實現形變表達式 Lt = L0*(1 - 0.1*sin(2*pi*f*time))。
展開 顯微測量|共聚焦顯微鏡大傾角超清納米三維顯微成像
如在光伏行業中，不僅可以對柵線進行快速檢測，還可以對電池板絨面這種表面反射率低且形貌復雜的樣品進行三維形貌重建。
此外還具備表征微觀形貌的輪廓尺寸測量功能。
應用領域
在材料學領域，共聚焦顯微鏡能夠用來觀察材料的三維結構和特性。可對各種產品、部件和材料表面的面形輪廓、表面缺陷、磨損情況、腐蝕情況、平面度、粗糙度、波紋度、孔隙間隙、臺階高度、彎曲變形情況、加工情況等表面形貌特征進行測量和分析。
通過共聚焦顯微鏡超高分辨率的三維顯微成像測量，可以清晰地觀察到材料的表面形貌、表層結構和納米尺度的缺陷。這對于理解材料的微觀特性和材料工程設計具有重要意義。
展開 ：開發高亮度聚合物點探針實現三維多色超分辨成像應用
近日，南方科技大學生物醫學工程系吳長鋒教授課題組成功開發了一系列高亮度聚合物點熒光探針，通過熒光探針功能化和擴展成像技術，在普通熒光顯微鏡上可以觀察到精細的亞細胞結構，分辨率高達30 nm。相關成果發表在材料領域知名期刊Advanced Materials。
超分辨光學成像因其能夠提供低于衍射極限的分辨率而獲得了2014年諾貝爾化學獎，當前超分辨技術主要分為兩類：基于激發光調制的超分辨成像和基于單分子定位的超分辨成像。擴展顯微成像采用了截然不同的思路：通過將樣本膨脹擴大，使得原本在衍射極限范圍內的相鄰分子由于距離變大而變得清晰可辨。該方法不依賴于復雜的成像系統，用普通共聚焦顯微鏡可以獲得納米級分辨率，但樣本擴展過程中由化學猝滅及密度稀釋導致的熒光亮度衰減是該方法進一步發展的難題。
針對這一問題，研究團隊開發了適用多色擴展顯微成像的聚合物點熒光探針。相比于商用的熒光染料，聚合物點的熒光標記亮度可以提高6倍。由于聚合物點的高亮度標記，細胞骨架微管蛋白的三維空間構象、網格蛋白有被小泡以及神經元突觸結構等，都能夠在普通熒光顯微鏡上解析出來（圖1a-c）。課題組進一步將聚合物點探針、擴展成像技術、和光學漲落超分辨技術結合起來，在普通寬場顯微鏡上實現了約30 nm的超高分辨率成像，更加真實地還原出微管蛋白尺寸以及線粒體中空膜結構等細節信息（圖1d-j）。這些發現展示了高亮度聚合物點在生物光學成像的應用潛力。
圖1 三維超分辨擴展-光學漲落聯合成像解析亞細胞精細結構
擴展顯微成像的樣本標記過程步驟繁瑣、重復耗時。
展開 
光譜成像技術如何重塑視覺邊界？
</p><p><strong>二、按光譜分辨率分類</strong></p><p><strong>（1）多光譜成像儀</strong></p><p>獲得的目標物的波段數在3~12之間，光譜分辨率一般在10nm-30nm，主要用于農作物分類等方面。</p><p><strong>（2）高光譜成像儀</strong></p><p>獲得的目標物的波段數在100~200之間，光譜分辨率在10nm左右，被廣泛用于礦物勘探、醫學腫瘤邊界檢測、工業質檢中。</p><p><strong>（3）超光譜成像儀</strong></p><p>獲得的目標物的波段數在1000~10000之間，光譜分辨率在1nm以下，通常用于大氣微粒探測等精細探測領域及實驗室級分子光譜分析中。 </p><p><strong>三、按技術原理分類</strong></p><p><strong>（1）色散型（根據色散原理）</strong></p><p>通過棱鏡或光柵分光，直接分離不同波長的光。<strong>該技術成本低廉，能夠同時對所有波長進行成像，技術比較成熟。但同一時刻只能獲得一條線的影像，光譜分辨率容易受到狹縫寬度的限制，很難做到5nm以下。</strong>通常應用于工業線掃描相機、醫學影像等。
展開 光刻技術第4期 | 光刻成像理論
三維嚴格矢量光刻成像模型主要針對3D集成電路（如3DNAND、3DIC堆疊）的三維圖形，需解決立體結構對光場傳播與偏振態的調制問題。局部坐標系以三維圖形的深度方向為Z軸，重點分析深度方向的偏振光能量分布與光刻膠顯影速率的關聯；全局坐標系將三維圖形的堆疊結構納入全視場分析，考慮“視場位置-深度方向”的耦合效應，可實現3D圖形全視場、全深度的高保真成像。
成像模型對比：
03/成像分析
針對零波像差雙遠心、零波像差非雙遠心、存在波像差三種情況，對比二維與三維矢量成像模型的成像性能：
零波像差雙遠心：二者成像性能完全相同。
零波像差非雙遠心、存在波像差：二者成像性能存在差異，三維矢量成像模型更具優勢
二維矢量成像模型與三維矢量成像模型仿真零像差非遠心物鏡成像結果
二維和三維矢量成像模型仿真結果的差異
在成像物鏡為存在像差的非理想系統時，三維矢量成像模型較二維矢量成像模型預測成像特性更精確。
04/先進技術與未來發展方向
二維矢量光刻成像模型在局部與全局坐標系下持續突破，局部聚焦單圖形CD精度優化，全局實現全視場偏振像差均衡；三維模型則攻克立體結構光場耦合難題，局部提升深度方向CD均勻性，全局保障全視場三維圖形一致性。未來，二者將向AI加速計算、多物理場耦合分析及全鏈路自適應優化方向發展，為先進制程與3D集成電路光刻提供更精準高效的理論支撐。
展開 光刻技術第5期 | 二維矢量光刻成像
01/簡介
光刻技術，作為半導體芯片制造的“靈魂工序”，直接決定芯片的制程精度與性能上限，更是全球半導體產業競爭的核心制高點。當制程節點邁入5nm及以下的精微領域，芯片關鍵尺寸已逼近原子級別，傳統標量成像理論因無法精準捕捉光的偏振特性對成像精度的影響，已難以滿足關鍵尺寸均勻性（CDU）的嚴苛要求，制程升級陷入瓶頸。
在此背景下，二維矢量光刻成像模型應勢而生，憑借對矢量光場與偏振像差的精準把控，成功突破衍射極限，成為先進邏輯芯片制造的核心技術支撐，為7nm、5nm乃至3nm制程的落地注入強勁動力，推動半導體產業實現跨越式發展。
矢量光刻成像模型
二維矢量光刻成像流程簡潔高效且精準可控，每一步都經過嚴苛的技術打磨：光源經定制化照明系統進行勻光、偏振調控后，均勻照射在高精度掩模上，掩模上的二維圖形會對入射光進行選擇性衍射；衍射出的光進入高數值孔徑物鏡系統后，系統會在入瞳與出瞳處通過特殊光學結構完成偏振態、相位及振幅的精準調控，濾除無效雜光，保留有效成像光；最終，經過調控的光在硅片像面精準匯聚，實現高保真成像。
整個過程中，掩模圖形的最終成像光強，由不同照明出瞳點照射形成的像光強疊加而成，這種疊加機制確保了即使在大視場曝光場景下，圖形的邊緣精度與內部均勻性也能得到雙重保障，有效避免了傳統光刻中“邊緣模糊、中心失真”的問題。
02/構造模型
1.物方衍射遠場：
采用傅里葉變換技術，將掩模表面復雜的光場分布轉化為物方衍射遠場Efar，分離不同偏振方向的光場分量特征。而近場光場的形成直接與入射照明光的偏振態有關，通過提前調控照明光偏振方向，可針對性強化關鍵圖形的光場信號。
展開 多光譜成像+AI系統技術是如何來監測植被的？
蜂巢航宇無人機基于多光譜成像+AI系統技術對植被（包括農作物、經濟作物、草場和森林等）的長勢和病蟲害監測有機動靈活、及時、快速、成本低廉、精確度高的優勢，可以為農林業的信息化和現代化作出貢獻。特別是提供及時準確的作物生長信息有益于合理使用肥料和農藥，直接為改善和保護環境提供幫助。
