顯微鏡是四百年前發(fā)明的。但是今天，正如在許多其他領(lǐng)域一樣，與計(jì)算相關(guān)的顯微鏡正在掀起一場(chǎng)革命。我們一直在努力使 Wolfram 語(yǔ)言成為計(jì)算顯微鏡這一新興領(lǐng)域的最終平臺(tái)。 

首先是從光學(xué)顯微鏡、X 射線顯微鏡，透射電子顯微鏡（TEM）、共焦激光掃描顯微鏡（CLSM）、雙光子激發(fā)或掃描電子顯微鏡（SEM）等等各種裝置得到圖像。然后進(jìn)行處理來提升圖像品質(zhì)，重建對(duì)象并進(jìn)行測(cè)量、檢測(cè)、識(shí)別和分類。在2017年8月的顯微鏡和微量分析會(huì)議（http://microscopy.org/MandM/2017）上，我們使用蔡司（Zeiss）顯微鏡和ToupTek 數(shù)碼相機(jī)，展示了這一流程的各種示例。

圖像采集

使用 Import 將標(biāo)準(zhǔn)圖像文件格式轉(zhuǎn)換為 Wolfram 語(yǔ)言（通過BioFormatsLink（https://github.com/WolframResearch/BioFormatsLink）可以訪問顯微鏡生成的更罕見的文件格式）。更酷的是，您還可以連接到顯微鏡，讓圖像直接進(jìn)入 CurrentImage。

圖像導(dǎo)入后，就可以使用 Wolfram 語(yǔ)言的各種功能大顯身手了。

亮度均衡

通常，顯微鏡獲取的圖像表現(xiàn)出不均勻的照明。不均勻照明問題可以通過根據(jù)已知平面場(chǎng)調(diào)整圖像背景或通過對(duì)可見背景的照明進(jìn)行建模來解決。BrightnessEqualize 正可以達(dá)到此目的。

這是顯微鏡下糖晶體的原始圖像：

這是一個(gè)純粹的圖像調(diào)整：

顏色反褶積

顏色反褶積是將染色樣品的圖像轉(zhuǎn)換成染料吸收分布的技術(shù)。

這是使用蘇木精 C19 和 DAB（3,3-二氨基聯(lián)苯胺）的染色樣本：

每種染料的相應(yīng) RGB 顏色為：

獲得從染料濃度到 RGB 顏色的轉(zhuǎn)換矩陣：

計(jì)算從顏色到染料濃度的逆變換：

由于顏色吸收與染料濃度呈指數(shù)比例，因此可在色度強(qiáng)度對(duì)數(shù)范圍內(nèi)進(jìn)行實(shí)際的去混合。

顏色反褶積為蘇木精和 DAB 染料濃度：

染料濃度的假著色：

圖像查看和手動(dòng)測(cè)量

查看大圖像，請(qǐng)使用 DynamicImage，它是一個(gè)高效的圖像面板，用于縮放、平移、拖動(dòng)和滾動(dòng)核心內(nèi)外的圖像：

以下代碼是實(shí)現(xiàn)圓形對(duì)象半徑測(cè)量的自定義交互界面所需要的。您可以通過 Alt +拖動(dòng)或 Command +拖動(dòng)來移動(dòng)疊加圓的位置和半徑。圓的半徑顯示在左上角：

聚焦堆疊

為了克服顯微鏡的淺景深，您可以收集一個(gè)焦棧，即一個(gè)圖像堆棧，其中每個(gè)圖像具有不同的焦距。可以通過選擇性地取出堆棧中每個(gè)圖像的焦點(diǎn)區(qū)域?qū)⒔箺嚎s成單個(gè)圖像 。imageFocusCombine 正具有這一功能。

這是 ImageFocusCombine 的重新實(shí)現(xiàn)以提取深度，并更進(jìn)一步從焦棧重構(gòu) 3D 模型。

將拉普拉斯濾波器的范數(shù)作為像素對(duì)焦與否的指示器。拉普拉斯濾波器拾取高傅立葉系數(shù)，如果圖像失焦，則首先被抑制：

然后對(duì)于每個(gè)像素，選擇展現(xiàn)最大拉普拉斯濾波器范數(shù)的層：

將所得到的二進(jìn)制體積與焦棧相乘，并將所有圖層相加。這樣，您僅收集那些聚焦的像素值：

二進(jìn)制體積 depthVol 包含每個(gè)像素的深度信息。將其轉(zhuǎn)換為二維深度圖：

深度信息相當(dāng)嘈雜，并且對(duì)于所有像素位置來說并不能同等可靠。如果圖像區(qū)域處于焦點(diǎn)，則邊緣僅提供清晰的指示。因此，使用 focusResponse 總和作為深度圖的置信度指標(biāo)：

考慮置信度大于 0.05 的的深度指標(biāo)：

可以使用 MedianFilter 對(duì)深度值進(jìn)行正則化，并通過 FillingTransform 關(guān)閉間隙：

使用對(duì)焦圖像作為其紋理，顯示 3D 深度圖：

機(jī)器學(xué)習(xí)示例：花粉分類

Wolfram 語(yǔ)言具有強(qiáng)大的機(jī)器學(xué)習(xí)功能，可以在顯微鏡下實(shí)現(xiàn)各種檢測(cè)、識(shí)別或分類應(yīng)用。

這里是一個(gè)六種花粉類型的小型數(shù)據(jù)集，我們想要對(duì)其進(jìn)行分類：

通常情況下，需要一個(gè)巨大的數(shù)據(jù)集從頭開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然而，使用其他預(yù)訓(xùn)練模型，我們可以使用這樣一個(gè)小數(shù)據(jù)集進(jìn)行分類。

通過 NetModel 得到在 ImageNet 上訓(xùn)練的  VGG-16 網(wǎng)絡(luò)：

刪除在這個(gè)網(wǎng)絡(luò)中執(zhí)行特定分類的最后幾層。這將留下一個(gè)生成特征向量的網(wǎng)絡(luò)：

接下來，計(jì)算花粉數(shù)據(jù)集中所有圖像的特征向量：

特征向量處于 4k 維空間中。為了快速驗(yàn)證特征向量是否適合對(duì)數(shù)據(jù)進(jìn)行分類，將特征空間降低到三維，看起來花粉圖像按照類型分組效果不錯(cuò)：

為了增加訓(xùn)練集的大小并使其旋轉(zhuǎn)-反演不變，生成額外的數(shù)據(jù)：

使用該訓(xùn)練數(shù)據(jù)，創(chuàng)建一個(gè)分類器：

在新的數(shù)據(jù)范例上測(cè)試分類器：

深度神經(jīng)網(wǎng)絡(luò)示例：檢測(cè)有絲分裂

先前的分類器依賴于一個(gè)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。如果有足夠的數(shù)據(jù)，可以從頭開始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)自動(dòng)學(xué)習(xí)相關(guān)特征并同時(shí)作為后續(xù)分類器的網(wǎng)絡(luò)。

作為示例，我們來談?wù)剻z測(cè)細(xì)胞發(fā)生有絲分裂的情況。這是一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，可以做到這一點(diǎn)：

訓(xùn)練和測(cè)試的數(shù)據(jù)已從 Tumor Proliferation Assessment Challenge 2016 (http://tupac.tue-image.nl/) 中提取。我們將數(shù)據(jù)預(yù)處理成97*97圖像，環(huán)繞在所討論的實(shí)際細(xì)胞周圍。

使用大約四分之三的數(shù)據(jù)進(jìn)行訓(xùn)練，其余用于測(cè)試：

再次，為了增加訓(xùn)練集，執(zhí)行圖像鏡像和旋轉(zhuǎn)：

計(jì)算分類器指標(biāo)并驗(yàn)證神經(jīng)網(wǎng)絡(luò)的有效性：