前沿進展 | 多焦點光場顯微成像技術

前沿進展 | 多焦點光場顯微成像技術的圖1

撰稿人 |課題組供稿


論文題目 | Multi-focus light-field microscopy for high-speed large-volume imaging


作者 | 張億*、王昱靈*、王鳴瑞、郭鈺鐸、李欣陽、陳一帆、盧志、吳嘉敏?、季向陽?、戴瓊海?


完成單位 | 清華大學

研究背景

      對高動態生物現象的三維可視化技術對于人們探索生命系統至關重要。在過去的幾十年里,研究者們開發了多種快速、高質量的體成像方法,其中光場顯微成像技術(light-field microscopy, LFM)由于其高并行性和低光毒性受到研究者的青睞。通過在光路中加入微透鏡陣列(microlens array, MLA),LFM可以在單次拍攝中對三維空間內的高維光信息進行編碼。通過配套的反解算法,可以以高保真度還原場景的三維信息。然而,LFM的分辨率與體覆蓋率相互制約,重建三維體的分辨率隨著離焦距離的增大而快速下降,這阻礙了LFM在大范圍活體場景下的應用。為了突破這一限制,研究者們提出了一些方法,包括使用雙聚焦微透鏡陣列[1]或者采用共聚焦光場顯微系統[2]等等,但是這些方法增加了系統的復雜性。如何低成本地擴大光場成像的高分辨率范圍仍是一個充滿吸引力的課題。

論文導讀

      近日,來自清華大學腦與認知科學研究院、自動化系的研究團隊提出了一種多焦點同步采集的球差輔助掃描光場成像方法(Spherical-Aberration-assisted scanning LFM, SAsLFM)。在先前提出的掃描光場技術的基礎上[3,4],研究人員利用折射率不匹配引入球差相位調制,對不同子孔徑分量焦點的空間位置進行再分配,從而實現同步多焦點體數據采集。通過相空間分塊融合的重建算法,可以從SAsLFM采集所得的高維光場數據中抽離出不同深度的高分辨信息并進行匹配融合,以此還原大尺度高分辨的三維體信息。定量實驗證明:在不需要額外硬件輔助的情況下,SAsLFM可以將成像體的高分辨軸向范圍擴展3倍。同時,文章進行了大量的生物實驗展示了SAsLFM的成像性能:包括對300 μm厚的活體小鼠腦進行高信噪比鈣信號提取,以22Hz的體成像速率在2000×2000×500 μm3的視野范圍內對自由移動水母進行動態追蹤等等。進一步的,該研究還通過深度學習方法將重建速度提升3個數量級,實現了大通量三維信息實時可視化。該研究于2022年11月30日發表于PhotoniX

技術突破

      非聚焦掃描光場顯微系統往往含有幾十個甚至上百個子孔徑分量(圖1a)。在理想系統中,不同子孔徑分量對應的高分辨率軸向范圍完全相互重疊,因此存在大量的數據冗余。在對光場成像的物理模型進行分析后,研究人員發現在相空間下,不同子孔徑分量之間保持相對獨立,即可以通過合理的相位調制將不同子孔徑的焦點位置進行重排,即在軸向上將不同子孔徑分量的焦點位置錯開,以此擴展單次采集的高分辨率軸向范圍。球差作為一種常見的光學畸變,在傳統的成像系統中并不收歡迎。但對于光場成像系統而言,通過折射率不匹配來引入球差是一種簡單有效的重排子孔徑焦點的方法。如圖1b所示,在光瞳面加入一個理想的中心對稱球差,各子孔徑分量的聚焦深度由子孔徑位置與光瞳面中心的相對距離決定,導致各子孔徑分量的軸向高分辨率位置偏移,能量被重新分布。通過適當的重建算法合并所有角度的信息,則可以獲得擴展景深的高分辨率大尺度重建體(圖1c)。

前沿進展 | 多焦點光場顯微成像技術的圖2

圖1 SAsLFM原理。(a)  SAsLFM示意圖。(掃描周期為3×3)。與每個微透鏡中心有相同相對位置的像素被重新排列在一起,形成子孔徑分量。 (b) 子孔徑光路編碼示意。不同子孔徑的光線在入水時改變了它們原來的方向,最終聚焦在不同的深度。經過球差調制后,子孔徑點擴散函數(point-spread-function, PSF)的強度分布發生了變化。(c) 重新排列的SAsLFM圖像的子孔徑分量根據對應的子孔徑位置被分為幾組。同一組內的分量包含從特定深度范圍內獲得的高分辨率內容。通過相空間重建算法可以充分恢復子孔徑數據中包含的高分辨率三維信息。

      研究人員首先使用10× /0.28NA長工作距離干鏡對USAF-1951分辨率板成像,以此定量實驗來說明SAsLFM的成像性能。如圖2中所示,sLFM的分辨率隨著離焦距離的增大而快速下降,而SAsLFM在軸向上顯著延續了高分辨率覆蓋范圍。SAsLFM在-600 μm -200 μm的軸向范圍內維持了高于3.91 μm的分辨率水平, 并且削弱了焦面處的偽影。

前沿進展 | 多焦點光場顯微成像技術的圖3

圖2 位于不同深度的USAF-1951分辨率板的重建結果。(a-b) 用sLFM和SAsLFM獲得的USAF-1951分辨率板的重建結果的比較。SAsLFM的高分辨率范圍在焦面一側有明顯的延伸。(c) a和b中的方框標記的放大視圖。SAsLFM能夠重建遠離焦面的信息。(d) 在不同的軸向位置,sLFM和SAsLFM的分辨率曲線。在大約1mm的大軸向范圍內,SAsLFM比傳統的sLFM保留了更多的細節。比例尺:50 μm.

     在擴展軸向高分辨率范圍的同時,SAsLFM還具有高速和低光毒性的成像優勢,因此尤其適用于觀測生物樣本中的大尺度三維結構和動態。研究者使用SAsLFM對多種模式生物進行成像,包括對斑馬魚全身脈管系統重建,對小鼠腦進行大范圍(2000×2000×330 μm3)鈣信號提取以及對果蠅卵的發育過程進行長時(~6.5 h)觀測等等。此外,研究人員還對自由活動的水母水螅體進行三維追蹤。在之前相關的研究中,研究者都需要采用一定的方式將水母固定,以此保證水母在成像范圍內。而SAsLFM擁有大尺度高分辨的視野范圍,因而可以允許樣本在一定范圍內自由活動。研究人員在2000×2000×500 μm3視野范圍內以22Hz對自由活動的水母水螅體進行高速體成像,并且成功追蹤到了水螅體觸手的三維運動軌跡(圖3)。此外,隨著計算硬件的不斷改進和多種方法的開源,深度學習已經成為圖像解卷積的有力的替代方法。研究者提出了一種基于U-Net的相空間解卷積算法,將重建速度提升了3個數量級,實現了實時三維信號可視化。

前沿進展 | 多焦點光場顯微成像技術的圖4

圖3 (a) 水母水螅體三維重建結果。(b) 自由活動的水母水螅體在不同時刻的強度投影。(c) SAsLFM實現了對8個觸手三維運動跟蹤,不同點代表了每個觸手在不同時間段的空間位置。

觀點評述

      SAsLFM不僅繼承了sLFM高速、低光毒性的優點,并進一步優化了sLFM的采集模式,利用子孔徑分量的冗余性提升了三維成像的高分辨率范圍,并且削減了重建偽影。此外,SAsLFM提供了一種非常實用的思路,即在相空間中優化子孔徑點擴散函數,這樣就避開了空域非連續PSF難以優化的問題。這種相位調制方式使得sLFM技術更具靈活性。在后續的工作中,研究人員將探索更復雜的相位編碼,進一步優化sLFM的成像性能,推動高質量大范圍活體三維成像技術的發展。

主要作者

前沿進展 | 多焦點光場顯微成像技術的圖5


      戴瓊海,教授,博士生導師。清華大學信息學院院長、中國工程院院士、中國人工智能學會理事長。從人工智能立體視覺、計算成像到腦與認知開展了基礎理論與關鍵技術系列研究,承擔了國家973、重大儀器和基礎科學中心等項目。在Nature, Cell, Nature Biotechnology, Nature Methods, Nature Photonics等發表論文百余篇,培養研究生百余名。獲國家技術發明一等獎、國家科技進步獎二等獎、全國高校黃大年式教師團隊。

前沿進展 | 多焦點光場顯微成像技術的圖6


      季向陽,清華大學自動化系教授,獲國家杰出青年科學基金、國家“萬人計劃”領軍人才、中國青年科技獎等人才獎勵。主要研究方向為光學成像、視覺信號獲取與智能處理等。主持基金委重大科研儀器研制項目“散射場景編碼攝像儀器”、科技部重點研發計劃“無人系統自主智能精準感知與操控”等一系列國家重大科研項目。發表Nature Communications、IEEE TPAMI、TCI、NIPS、CVPR等SCI/EI論文100余篇;授權國家/國際發明專利70余項,獲得2018年紐倫堡國際發明展金獎 2 項,2022年日內瓦國際發明展金獎1項;獲2019年國家科技進步二等獎1項(第一完成人),2012年國家技術發明一等獎1項(第二完成人)。

前沿進展 | 多焦點光場顯微成像技術的圖7


      吳嘉敏,清華大學自動化系助理教授,博士生導師,清華-IDG/麥戈文腦科學研究院,研究員。致力于計算成像、顯微儀器與跨尺度數據理解的交叉研究,提出了掃描光場成像原理與數字自適應光學架構,參與研制系列計算光場成像儀器,為系統性地研究哺乳動物在體大規模細胞間相互作用提供了利器。主持基金委優秀青年科學基金項目、面上項目、科技部顛覆性技術專項等,獲阿里巴巴達摩院青橙獎,入選亞太區TR35,近五年在Cell、Nature、Nature Photonics等期刊發表論文40余篇,授權發明專利30余項。

參考文獻

[1] Cong L, Wang Z, Chai Y, Hang W, Shang C, Yang W, et al. Rapid whole brain imaging of neural activity in freely behaving larval zebrafish ( Danio rerio). Elife. 2017. https://doi.org/10.7554/ELIFE.28158.

[2] Zhang Z, Bai L, Cong L, Yu P, Zhang T, Shi W, et al. Imaging volumetric dynamics at high speed in mouse and zebrafish brain with confocal light field microscopy. Nat Biotechnol. 2021;39:74–83.

[3] Wu J, Guo Y, Deng C et al. An integrated imaging sensor for aberration-corrected 3D photography. Nature. 2022.

[4] Wu J, Lu Z, Jiang D, et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale. Cell. 2021;184:3318–3332.e17.


文章來源:PhotoniX

登錄后免費查看全文
立即登錄
App下載
技術鄰APP
工程師必備
  • 項目客服
  • 培訓客服
  • 平臺客服

TOP