引用格式：

Qiqi Zhu, Xi Guo, Ziqi Li & Deren Li (2022). A review of multi class change detection for satellite remote sensing imagery, Geo-spatial Information Science, DOI: 10.1080/10095020.2022.2128902.

原文下載： https://doi.org/10.1080/10095020.2022.2128902

作者簡介：

朱祺琪，博士，中國地質(zhì)大學（武漢）地理與信息工程學院，副教授，碩士生導師，主要從事遙感大數(shù)據(jù)智能提取分析及應用方向的研究。聯(lián)系方式：zhuqq@cug.edu.cn

郭希，碩士研究生，中國地質(zhì)大學（武漢）地理與信息工程學院，研究興趣為遙感圖像解譯、變化檢測。

李子琪，本科生，中國地質(zhì)大學（武漢）地理與信息工程學院，研究興趣為遙感圖像解譯、變化檢測。

李德仁，博士，武漢大學測繪遙感信息工程國家重點實驗室，中國科學院院士，中國工程院院士，博士生導師。主要從事3S系統(tǒng)（遙感（RS）、全球衛(wèi)星定位系統(tǒng)（GPS）和地理信息系統(tǒng)（GIS））為代表的空間信息科學以及多媒體通信技術等方面的研究。

01

概述

變化檢測通過識別不同時期地面物體的變化，為環(huán)境監(jiān)測、城市擴張和重建以及災害評估等提供了研究依據(jù)。傳統(tǒng)的變化檢測通常是指二類變化檢測，只關注變化區(qū)域和未變化區(qū)域。但隨著遙感影像的空間分辨率不斷提高，能夠反映更詳細土地變化的多類變化檢測成為變化檢測領域中的研究熱點。雖然目前已有許多學者對變化檢測進行了綜述，但是大部分工作仍集中于二類變化檢測上。鑒于此，本文主要針對多類變化檢測的最新進展進行介紹，其中包括五個主要方面：問題與挑戰(zhàn)、現(xiàn)有公開數(shù)據(jù)集、方法、應用和未來的研究方向。本文將有助于增進研究人員對該領域的了解，并為后續(xù)多類變化檢測的研究提供參考。另外，本文所收集的公開多類變化檢測基準數(shù)據(jù)集已歸納于下述鏈接：https://zenodo.org/record/6809804#.Y2ub2LG-uUl。

02

問題與挑戰(zhàn)

在本節(jié)中，我們綜合了影響多類變化檢測性能的因素，并總結(jié)了多類變化檢測的困難和挑戰(zhàn)如圖 1 所示。

圖1 多類變化檢測中的困難和挑戰(zhàn)

（1）視覺特征混淆

由于成像過程中存在不同類型因素的干擾，圖像對中的特征在視覺上可能與原始情況下有所不同，即存在混淆。例如，由于圖像對之間的成像條件不同（如不同的拍攝角度或不同的季節(jié)），光學遙感圖像中未變化的特征之間也可能存在較大的光譜差異，這增加了檢測變化區(qū)域的難度。如圖1(a)所示，圖中藍框中的特征都是草地。然而，由于不同的拍攝角度和時間造成的陰影遮擋，它們具有高度不同的光譜特征。另一方面，雖然合成孔徑雷達（SAR）圖像不受上述成像條件的影響，但是SAR圖像中存在的固有散斑噪聲干擾也讓多類變化檢測更加困難。圖1(b)為一對SAR圖像，紅色框表示變化區(qū)域，但由于散斑噪聲的干擾，很難通過視覺觀察正確識別變化區(qū)域。

（2）“椒鹽”噪聲

由于遙感影像對中存在光譜差異性，在使用傳統(tǒng)的像素方法進行多類變化檢測時，往往會產(chǎn)生大量的“椒鹽”噪聲。傳統(tǒng)像素方法得到的多類變化檢測結(jié)果如圖1(c)所示，從中可以明顯地看出，橙色圓圈中含有大量的“椒鹽”噪聲。這是因為，傳統(tǒng)的像素方法傾向于假設每個像素都是相互獨立的，而沒有考慮到像素之間的空間關系。

（3）變化類別不平衡

與二類變化檢測中僅區(qū)分變化和未變化類別不同，多類變化檢測還需要區(qū)分不同的變化類別。圖1(d)顯示了一個真實的變化圖，其中黑色表示無變化區(qū)域，其他顏色表示不同的變化類別。不難發(fā)現(xiàn)，在真實的變化圖中，每個變化類的面積比例是不平衡的，有些變化類只集中在局部的小區(qū)域。因此，由于訓練樣本的數(shù)量較少，小變化的類別往往難以準確被識別。

（4）背景復雜

由于變化往往發(fā)生在所研究區(qū)域的部分地區(qū)，多類變化檢測的過程往往受到過多未變化區(qū)域背景的影響。圖1(e)為一幅二類變化參考地圖和T1時期的原始圖像，黑色是未變化的區(qū)域，白色是發(fā)生變化的區(qū)域。在二類變化參考圖中，很容易找到大片的未變化區(qū)域，但如圖2(e)右圖所示，未變化區(qū)域往往具有復雜的地面特征分布，這容易給多類變化檢測的結(jié)果帶來負面影響。

03

現(xiàn)有公開數(shù)據(jù)集

基準數(shù)據(jù)集不僅可以作為評估和驗證多類變化檢測算法性能的基準，而且在促進多類變化檢測研究中發(fā)揮著關鍵作用。近年來，為了面向不同的應用需求，遙感領域發(fā)布了多個不同應用目標的多類變化檢測數(shù)據(jù)集，這些數(shù)據(jù)集的變化趨勢和特征如圖 2 所示，表 1 列出了這些數(shù)據(jù)集的屬性以供參考。

圖2 現(xiàn)有多類變化檢測數(shù)據(jù)集的發(fā)展趨勢

表 1 現(xiàn)有多類變化檢測數(shù)據(jù)集比較

04

多類變化檢測技術

多類變化檢測的目的是檢測和識別各種土地覆蓋類別的變化，這在遙感應用中非常重要。與二類變化檢測相比，多類變化檢測更為復雜，因為它需要的不僅僅是檢測變化，還需要區(qū)分不同類別的變化，圖 3 展現(xiàn)了二類變化檢測和多類變化檢測的區(qū)別及一般流程。另外，為了更全面地概述多類變化檢測方法，本文根據(jù)不同類別的變化將多類變化檢測分為三類： 1) 三元變化檢測， 2) 多重變化檢測， 3) 語義變化檢測。

圖 3 二類變化檢測和多類變化檢測的基本流程

1）三元變化檢測： 與傳統(tǒng)的二類變化檢測僅檢測變化區(qū)域不同，三元變化的目的是檢測變化并將其分為正變化和負變化。到目前為止，雖然有幾篇關于三元變化檢測的文章，但是三元變化檢測的研究還處于初步階段。然而，由于三元變化檢測其有價值的實際應用（如檢測災害重建工作中發(fā)生的變化），有望成為變化檢測發(fā)展的新趨勢。

2）多重變化檢測：根據(jù)以往的文獻綜述，多重變化檢測被認為是一種可以檢測不同類型變化的變化檢測技術。更詳細地說，雖然通過這種方法獲得的最終變化檢測結(jié)果具有不同的變化類信息，但它們不能知道從哪個類別到哪個類別的“from-to”信息，即缺乏語義變化信息。

3）語義變化檢測：與多重變化檢測不同，語義變化檢測不僅可以檢測出不同的變化類，還可以檢測變化類的信息，即“from-to”的信息。通過這種方式，當需要更詳細的信息時語義變化檢測發(fā)揮著重要的作用，特別是當有可能區(qū)分與實際土地覆蓋變化相關的不同類型的變化時。

05

多類變化檢測的應用

目前，多類變化檢測已廣泛應用于實際情況。本文對多類變化檢測的代表性應用進行了總結(jié)，包括： 1) 土地覆蓋監(jiān)測； 2 ）城市擴張； 3 ）災害評估。

1）土地覆蓋監(jiān)測：對土地覆蓋變化的評價是理解人與自然關系的關鍵，在遙感發(fā)展歷程中，各種變化檢測方法已經(jīng)被用來探測表面物體的變化。

2）城市擴張：隨著城市區(qū)域的不斷擴張，城市變化檢測可以動態(tài)監(jiān)測城市擴張引起的變化區(qū)域，為城市分析提供數(shù)據(jù)支持。目前，城市變化檢測已成為一項流行的研究。

3）災害評估：突發(fā)的自然災害影響人類生命財產(chǎn)安全。然而，災難通常發(fā)生在不可預測的時間，如地震、火災、洪水和颶風。一般情況下，我們無法直觀地識別災區(qū)損害的嚴重程度，通常使用遙感技術來評估損害區(qū)域以進行災害援助和響應，如建筑物損害評估。

06

發(fā)展及未來研究方向

盡管最近在多類變化檢測方面取得了巨大的研究進展，但主要的技術仍然存在限制，無法滿足目前的應用挑戰(zhàn)。為了總結(jié)多類變化檢測的發(fā)展，我們利用變化檢測、多類、土地覆蓋變化等關鍵詞，在 Web of Science 數(shù)據(jù)庫上對 2017 年以來發(fā)表的相關文獻進行檢索和分析。根據(jù)本文所需的不同分析觀點，我們最終選擇了 116 篇相關文獻作為我們進行分析的基礎。此外，我們在選擇論文時還考慮了已發(fā)表期刊的質(zhì)量，如《 Remote Sensing of Environment 》、《 ISPRS Journal of Photogrammetry and Remote Sensing 》、《 IEEE Transactions on Geoscience and Remote Sensing 》等。根據(jù)本文的研究重點，我們從數(shù)據(jù)源的類型、數(shù)據(jù)的時間分辨率、變化類別、先驗知識等不同的角度分析了上述文章。文獻分析的結(jié)果如圖 4 所示。分析結(jié)果表明，目前多類變化檢測的主流數(shù)據(jù)源為中低分辨率圖像（ 38% ），而使用多源數(shù)據(jù)（ 22% ）的多類變化檢測似乎是一種新的趨勢，其余數(shù)據(jù)源類型則占比大致相同。此外，盡管目前的大多數(shù)文章仍然使用雙時相圖像（ 66% ），但使用多時相長時間序列數(shù)據(jù)（ 34% ）成為一個流行的研究。從變化類別的角度來看，大多數(shù)論文進行語義變化檢測（ 71% ），其次是多重變化檢測（ 21% ），三元變化檢測（ 8% ）最低。由于語義變化檢測任務需要大量的標記樣本，監(jiān)督學習方法（ 62% ）仍然是主導方法。無監(jiān)督學習方法（ 31% ）也因為不同任務的需要而占據(jù)了一定位置。近年來，需要較少訓練樣本的半監(jiān)督學習方法（ 7% ）也出現(xiàn)了。根據(jù)我們的分析，未來的研究可能會集中在（但不限于）以下領域： 1 ）使用多源數(shù)據(jù)的多類變化檢測； 2 ）長時序列圖像中的變化趨勢分析； 3 ）基于弱監(jiān)督的多類變化檢測。

圖4 文獻統(tǒng)計分析結(jié)果圖

07

結(jié)論

多類變化檢測可以更有效地監(jiān)測和分析地球表面的土地覆蓋變化。然而，迄今為止，大多數(shù)綜述文獻只關注二類變化檢測，缺乏對多類變化檢測的全面綜述。本文從數(shù)據(jù)、方法和應用等方面對多類變化檢測進行了系統(tǒng)的綜述，并總結(jié)了多類變化檢測中存在的問題和挑戰(zhàn)，填補了該綜述的空缺。此外，在文獻統(tǒng)計分析的基礎上，本文還提出了多類變化檢測的未來發(fā)展方向以及對今后開展工作的建議，包括： 1)利用多源數(shù)據(jù)促進多類變化檢測；2)利用長時間序列遙感數(shù)據(jù)觀察變化趨勢；3)基于弱標記樣本進行多類變化檢測。

來源：高性能空間計算智能實驗室