圖像分割算法的案例
如何掌握好圖像分割算法？值得你看的技術綜述
來源 |
有三AI
本篇文章，我們講解圖像分割需要掌握的重要知識點。本文將帶你走進圖像分割的大門，著重關注該領域的研究方向以及重點難點，講述如何學好圖像分割算法。
1 圖像分割簡介
圖像分割，是指將圖像分成若干語義目標的過程，可以細分為3個方向，見下圖對比。
首先我們要把圖像中的目標歸為不可數目標（stuff類別，比如天空只有一個，不能數）和可數目標（things類別，比如人可以有多個），然后我們看3個方向的對比。
圖1 圖像分割3個研究方向
語義分割(semantic segmention)，也就是通常理解的圖像分割，它是一個逐像素的圖像分類問題，每個像素預測類別唯一，可數目標與不可數目標都要分類。
實例分割(Instance Segmentation)，不僅要預測可數目標的語義標簽，還有區分個體的ID，語義標簽指的是物體的類別，而實例ID則對應同類物體的不同編號，注意不可數目標不需要預測。
全景分割(Panoptic Segmentation)，它要求圖像中的每個像素點都必須被分配一個語義標簽和一個實例id。
全景分割與語義分割的關系是：如果所有的類別都是stuff，那么全景分割除了度量與語義分割不同外，其它相同。
展開 基于Matlab的遺傳算法在圖像分割問題中的應用
遺傳算法（Genetic Algorithm）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計
算模型，是一種通過模擬自然進化過程搜索最優解的方法。遺傳算法是從代表問題可能潛在的解集的一個種群
（population）開始的，而一個種群則由經過基因（gene）編碼的一定數目的個體(individual)組成。每個個
體實際上是染色體(chromosome)帶有特征的實體。染色體作為遺傳物質的主要載體，即多個基因的集合，其
內部表現（即基因型）是某種基因組合，它決定了個體的形狀的外部表現，如黑頭發的特征是由染色體中控制
這一特征的某種基因組合決定的。因此，在一開始需要實現從表現型到基因型的映射即編碼工作。由于仿照基
因編碼的工作很復雜，我們往往進行簡化，如二進制編碼，初代種群產生之后，按照適者生存和優勝劣汰的原
理，逐代（generation）演化產生出越來越好的近似解，在每一代，根據問題域中個體的適應度（fitness）大
小選擇（selection）個體，并借助于自然遺傳學的遺傳算子（genetic operators）進行組合交叉
（crossover）和變異（mutation），產生出代表新的解集的種群。這個過程將導致種群像自然進化一樣的后
生代種群比前代更加適應于環境，末代種群中的最優個體經過解碼（decoding），可以作為問題近似最優
解。
最后，大家有matlab或python相關需求可以通過微信公眾號聯系我們。
微信公眾號：320科技工作室。
展開 8超像素分割，SLIC利用了簡單的聚類（貪婪）算法，初始時，每一個聚類的中心被平均的分布在圖像中 ￥29.9
超像素分割，SLIC利用了簡單的聚類（貪婪）算法，初始時，每一個聚類的中心被平均的分布在圖像中，而超像素的個數，可以基本由這些中心點來決定。每一步迭代，種子像素合并周圍的像素，形成超像素。基于MATLAB平臺，程序已調通可直接運行。
16基于otsuf方法的圖像分割，程序已調通，可更換自己的圖片進行分割，程序具有詳細的代碼注釋， ￥9.9
基于otsuf方法的圖像分割，程序已調通，可更換自己的圖片進行分割，程序具有詳細的代碼注釋，可輕松掌握。基于MATLAB平臺，需要直接拍下。
彩色斷層圖像的分割
就圖像分割而言，中國數字人彩色斷層圖像具有毗鄰復雜、色彩相近、邊緣不連續的特點。在同一斷面上，骨、骨膜、韌帶、肌、神經、血管等彼此交錯毗鄰；骨皮質的色彩與骨膜、韌帶、肌腱的色彩相近，肌肉與紅骨髓的色彩相近，神經與周圍纖維組織色彩相近；不同結構之間色彩連通，不存在真正意義上的色彩邊緣，常需要根據纖維走向和追尋上下層之間的變化來判斷邊緣。這些特點使得目前計算機自動分割的結果，無法達到解剖學家結合專業知識，通過眼睛感知的理想邊緣，必須要進行后期大量的人工修正
首先使用photoshop中knockout濾鏡，利用其強大蒙板功能，交互式提取目標區域。然后在matlab中使用形態學處理函數和邊緣檢測算子，精確提取了平滑的輪廓線。完成對骨，肌，臟器及大的血管神經完成了分割與分類，獲取的輪廓線保留了精確的細節，定位準確且比較平滑。下圖顯示提取的輪廓與原始圖像疊加效果。
使用這種分割方法，平均分割出一個組織的時間為30秒。
展開 對象檢測 vs 對象識別 vs 圖像分割
因此，如果圖像中存在多個類標簽，則簡單的 CNN 方法將不起作用。
如果我們想定位邊界框中對象的存在，我們需要嘗試一種不同的方法，該方法不僅輸出類標簽，還輸出邊界框位置。
?
編輯
與對象識別相關的任務概述
圖像分類 ：
在圖像分類中，它以圖像作為輸入，并輸出該圖像的分類標簽以及一些指標（概率、損失、準確性等）。例如：貓的圖像可以歸類為類標簽 “cat”，或者 Dog 的圖像可以被歸類為類標簽 “dog” ，但有一定的概率。
?
編輯
圖像分類
對象定位： 此算法定位圖像中是否存在對象，并用邊界框表示該對象。它以圖像作為輸入，并以 （position， height， and width） 的形式輸出邊界框的位置。
對象檢測：
對象檢測算法充當圖像分類和對象定位的組合。它采用圖像作為輸入，并生成一個或多個邊界框，每個邊界框都附加了類標簽。這些算法能夠處理多類分類和本地化，以及處理多次出現的對象。
對象檢測的挑戰：
在對象檢測中，邊界框始終為矩形。因此，如果對象包含曲率部分，則無助于確定對象的形狀。
對象檢測無法根據圖像準確估計某些測量值，例如對象的面積、對象的周長。
分類之間的差異。定位和檢測（來源： 鏈接)
圖像分割：
圖像分割是對象檢測的進一步擴展，我們通過為圖像中的每個對象生成的像素級掩碼來標記對象的存在。這種技術比邊界框生成更精細，因為它可以幫助我們確定圖像中存在的每個對象的形狀，因為 分割不是繪制邊界框 ，而是有助于找出構成該對象的像素。
展開 2-1基于matlab的拉普拉斯金字塔圖像融合算法
圖像融合
拉普拉斯金字塔圖像融合 ￥12.2
基于matlab的拉普拉斯金字塔圖像融合算法，可以使部分圖像模糊的圖片清楚，也可以使圖像增強。程序已調通，可直接運行。
使用 Mask R-CNN、GrabCut 和 OpenCV 進行圖像分割 ￥5
實例分割的任務不僅包括檢測圖像中的對象，還包括在像素級別分割每個對象實例，從而為每個檢測到的對象提供二進制掩碼。掩碼 R-CNN 在 Faster R-CNN 的兩階段架構上開發，第三個分支用于像素級分割掩碼。
以下是 Mask R-CNN 的基本功能和組件：
1. 區域提議網絡 （RPN）：掩碼 R-CNN 使用 RPN 生成區域提議，就像 Faster R-CNN 一樣。RPN 生成可能包含感興趣對象的候選邊界框。
2. 感興趣區域 （RoI）：掩碼 R-CNN 引入了 RoI 對齊，這是一種更準確的技術，用于對齊區域建議內的像素級特征，而不是更快的 R-CNN 中使用的 RoI 池化。RoI Align 確保從原始圖像特征圖中準確提取像素級特征，無需量化。
3. 實例分割：更快的 R-CNN 使用兩個分支：分類和邊界框回歸。掩碼 R-CNN 添加了第三個分支，用于預測每個區域提案的分割掩碼。此分支使用 RoI 對齊特征作為其輸入，為每個識別的對象生成一個二進制掩碼。
3 GrabCut 抓取
GrabCut 是一種經典的前臺提取算法，用戶交互最少。它采用一個輸入圖像和一個用戶定義的邊界框，該邊界框將前景對象作為其輸入（此處 dog 是前景對象）。然后，它會生成一個優化的分段蒙版，將前景對象與背景分開。
?
GrabCut 抓取
通過基于提供的邊界框對前景和背景區域進行初步估計，使用高斯混合模型 （GMM） 通過迭代更新像素標簽來對前景和背景進行建模，從而提高分割的準確性。GrabCut 算法的最終輸出是前景和背景區域分開的蒙版圖像。
?
4 為什么同時使用 GrabCut 和 Mask R-CNN 進行圖像分割？
展開 【建議收藏】CV學習路徑推薦
實際項目算法開發過程中，除了模型使用還需要考慮數據分布、類別均衡、數據增強、損失函數等trick的應用。
推薦項目：花朵分類&不均衡Cifar分類
熟悉訓練技巧，掌握獨立完成項目級圖像分類模型訓練的能力。
02 圖像分割
圖像分割是CV主要方向之一，在自動駕駛、人像摳圖、醫學圖像分析和工業質檢均有廣泛應用。能掌握經典圖像分割算法，熟悉代碼開發流程，獨立完成圖像分割項目是算法工程師必備的能力。
推薦項目：自動駕駛語義分割&人像分割及照片制作
用代碼實現數據集讀取、圖像分割模型訓練、訓練分析、模型推理、線上部署。完整地做一次圖像分割項目實戰。
03 目標檢測
目標檢測是CV領域的重要方向之一，在自動駕駛、衛星遙感、機器人、智慧工廠、智能交通等領域中應用廣泛。掌握經典的目標檢測算法，學會檢測器性能提升方法和模型輕量化的方法，了解模型部署的流程，是計算機視覺工程師的必備技能，也是進入各大廠和創業公司的必要條件。
推薦項目：基于YOLOX構建高性能目標檢測器&輕量級目標檢測器
掌握構建baseline檢測器的方法，掌握目標檢測器性能優化和輕量化的技巧，了解工程實踐中目標檢測任務開發的一般流程。
04 GAN
生成式對抗網絡模型被譽為“下一代深度學習框架”，是目前最強大的生成式模型，已在圖像視頻生成、增強、編輯等應用領域廣泛落地。每隔一段時間網絡上就會出現關于其神奇效果的相關報道，比如換臉、繪畫、讓人物跳舞、老片修復、以及讓照片人臉動起來等等。這其中，圖像增強可謂是GAN落地最成熟的一個方向。此外，數據爬取、數據分析篩選、模型批量調參、模型快速部署等算法工程師必備技能也是本項目的重點。
展開 激光雷達：點云語義分割算法
在Panoptic-PolarNet中，語義分支提供了3D的語義分割結果，每個點都有一個語義標簽。實例分支提供物體中心位置，與語義分支輸出的前景點相結合得到每個實例的分割結果。這樣，全景分割的任務就完成了。此外，網絡中所包括的2D網格數據結構，U-Net，中心點預測等都是非常簡潔的結構，可以在GPU中高效的實現，因此整個系統的速度也就提升了上來，達到約12FPS。由于一般LiDAR的工作頻率是10FPS，Panoptic-PolarNet的速度已經可以滿足實時的要求。
Panoptic-PolarNet網絡結構圖
3D點云的全景分割是一個比較新的研究方向，而圖像的全景分割研究則相對成熟。因此，與語義分割類似，有的方法（比如[14]）會將3D點云轉換為range視圖，在此數據上進行圖像全景分割，再把分割的結果映射回3D空間。此外，還有的方法（比如[15]）研究如何利用時序信息來提高全景分割的效果，這也是與自動駕駛應用場景非常相關的。
5. 數據庫和算法對比
以上的部分主要介紹了不同分割任務中的代表性算法，以及它們的優缺點，主要都是定性的分析。這部分會系統的介紹點云分割任務的常用數據庫和評測指標，并對上文提到的典型算法進行對比。點云數據庫按照不同的場景和不同的采集設備可以分為很多種類。這里只關注室外道路場景，面向自動駕駛應用，由車載LiDAR采集的點云數據庫，以及相關的算法對比。
5.1 數據庫
SemanticKITTI
KITTI是圖像和點云檢測領域最常用的數據庫之一。SemanticKITTI[16]將KITTI數據庫中Visual Odometry Benchmark中的所有LiDAR點云序列進行標注，是第一個大規模的面向自動駕駛場景的3D點云語義分割數據庫。
展開 超像素分割，SLIC利用了簡單的聚類（貪婪）算法 ￥29.9
超像素分割，SLIC利用了簡單的聚類（貪婪）算法，初始時，每一個聚類的中心被平均的分布在圖像中，而超像素的個數，可以基本由這些中心點來決定。每一步迭代，種子像素合并周圍的像素，形成超像素。基于MATLAB平臺，程序已調通可直接運行。標價為程序價格，不包含售后。程序保證可直接運行。
一種基于機器視覺的模糊圖像復原算法
通過假設，我們可以將模糊過程建模為點擴散函數(PSF)與理想圖像的卷積，從而得到一個坐標上的三角形或高斯形狀，如圖1所示的情況(a)和(b)。
由于考慮了勻速運動模糊，所以可以假定所有部分都退化了相同數量的模糊。所以，在假設中認為圖像所引入的噪聲是高斯累加的。該算法考慮了變方差的零均值高斯噪聲。
此時，所需要解決的問題可以表述為：通過給定1幅灰度圖像g(x,y)，通過線性平移不變的PSF函數h(x,y)退化，從而找出真實圖像f(x,y)的可靠估計。
2 算法設計
在這里，我們通過期望LR最大化算法來探尋最大化恢復圖像的可能性。從對原始圖像的猜測開始LR算法在每次迭代中更新其猜測，使其趨向于潛在圖像。從理論上講，算法迭代的時間越長，它越接近于收斂到潛在圖像。
RL迭代可由成像方程和泊松統計方程導出：
其中Ο是未模糊的物體，p(i| j)是PSF來自真實位置的散射成觀測像素的光的分數；I(i)是無噪聲的模糊圖像。給定期望計數I(i) ，對每個像素中觀察到的計數D(i)的聯合似然為：
最大似然解出現在對Ο(j)的所有偏導數為零的地方：
因此，迭代RL算法可簡寫為：
比較上面兩個公式可以看出，如果RL迭代收斂，即隨著迭代的進行，修正因子趨近于一個單位，那么它必定收斂于數據中泊松統計量的最大似然解。
展開 用線性插值算法實現圖像縮放
從數字圖像處理的基本理論，我們可以知道：圖像的變形變換就是源圖像到目標圖像的坐標變換。簡單的想法就是把源圖像的每個點坐標通過變形運算轉為目標圖像的相應點的新坐標，但是這樣會導致一個問題就是目標點的坐標通常不會是整數，而且像放大操作會導致目標圖像中沒有被源圖像的點映射到，這是所謂“向前映射”方法的缺點。所以一般都是采用“逆向映射”法。
但是逆向映射法同樣會出現映射到源圖像坐標時不是整數的問題。這里就需要“重采樣濾波器”。這個術語看起來很專業，其實不過是因為它借用了電子信號處理中的慣用說法（在大多數情況下，它的功能類似于電子信號處理中的帶通濾波器），理解起來也不復雜，就是如何確定這個非整數坐標處的點應該是什么顏色的問題。前面說到的三種方法：最近鄰域法，線性插值法和三次樣條法都是所謂的“重采樣濾波器”。
所謂“最近鄰域法”就是把這個非整數坐標作一個四舍五入，取最近的整數點坐標處的點的顏色。而“線性插值法”就是根據周圍最接近的幾個點（對于平面圖像來說，共有四點）的顏色作線性插值計算（對于平面圖像來說就是二維線性插值）來估計這點的顏色，在大多數情況下，它的準確度要高于最近鄰域法，當然效果也要好得多，最明顯的就是在放大時，圖像邊緣的鋸齒比最近鄰域法小非常多。當然它同時還帶業個問題：就是圖像會顯得比較柔和。這個濾波器用專業術語來說（呵呵，賣弄一下偶的專業^_^）叫做：帶阻性能好，但有帶通損失，通帶曲線的矩形系數不高。至于三次樣條法我就不說了，復雜了一點，可自行參考數字圖像處理方面的專業書籍，如本文的參考文獻。
再來討論一下坐標變換的算法。簡單的空間變換可以用一個變換矩陣來表示：
[x’,y’,w’]=[u,v,w]*T
其中：x’,y’為目標圖像坐標，u,v為源圖像坐標，w,w’稱為齊次坐標，通常設為1，T為一個3X3的變換矩陣。
展開 198基于matlab的單幅圖像客觀評價算法 ￥12.2
基于matlab的單幅圖像客觀評價算法，六種方法：信息熵、評價梯度、空間頻率、峰值信噪比，Sobel算子，Fisher算子。并給出計算客觀評價值， GUI交互界面程序。程序已調通，可直接運行。
基于Matlab的圖像相似性比較的算法介紹
基本概念
圖像相似度計算就是對兩幅圖片之間內容的相似程度進行打分，根據分數的高低來判斷圖像內容的相似程度，這也是圖像分類的基礎。如下面這幅圖像的兩位人頭虎身獸，用不同的算法進行相似度計算，相似度在60%~87%之間~~
二。算法總結
計算圖像相似度的算法有很多，常見的有以下幾種：
1。基于直方圖。直方圖能夠描述一幅圖像中顏色的全局分布，是一種入門級的圖像相似度計算方法。該算法計算過程很容易理解，首先對于兩幅圖像分別計算其直方圖，然后根據某種衡量標準進行比較，比較結果即為兩幅圖像的相似度。這種方法精度較差。
2。SSIM（結構相似性度量）。這是一種全參考的圖像質量評價指標，分別從亮度、對比度、結構三個方面度量圖像相似性。SSIM取值范圍[0, 1]，值越大，表示圖像失真越小。在實際應用中，可以利用滑動窗將圖像分塊，令分塊總數為N，考慮到窗口形狀對分塊的影響，采用高斯加權計算每一窗口的均值、方差以及協方差，然后計算對應塊的結構相似度SSIM，最后將平均值作為兩圖像的結構相似性度量，即平均結構相似性SSIM。該方法通常用來衡量一張圖片壓縮后的失真度，比較少的用來計算兩圖的相似度。
3。cosin相似度（余弦相似度）。把圖片表示成一個向量，通過計算向量之間的余弦距離來表征兩張圖片的相似度。該方法運算量較大，但準確率尚可。
4。基于互信息（Mutual Information）。通過計算兩個圖片的互信息來表征他們之間的相似度，如果兩張圖片尺寸相同，還是能在一定程度上表征兩張圖片的相似性的。但是，大部分情況下圖片的尺寸不相同，如果把兩張圖片尺寸調成相同的話，又會讓原來很多的信息丟失，所以很難把握。經過實際驗證，此種方法不夠穩定。
展開 