來源 |  機(jī)器之心

人臉識(shí)別 是機(jī)器學(xué)習(xí)社區(qū)研究最多的課題之一，以 3D 人臉識(shí)別為代表的相關(guān) ML 技術(shù)十年來都有哪些進(jìn)展？ 這篇文章給出了 答案。

近年來，人臉識(shí)別的研究已經(jīng)轉(zhuǎn)向使用 3D 人臉表面，因?yàn)?3D 幾何信息可以表征更多的鑒別特征。近日，澳大利亞迪肯大學(xué)的三位研究者回顧了過去十年發(fā)展起來的 3D 人臉識(shí)別技術(shù)，總體上分為常規(guī)方法和深度學(xué)習(xí)方法。

從左至右依次是迪肯大學(xué)信息技術(shù)學(xué)院博士生 Yaping Jing、講師（助理教授） Xuequan Lu 和高級(jí)講師 Shang Gao。

該調(diào)查通過代表性研究的詳細(xì)描述來對各類技術(shù)進(jìn)行評(píng)估，其中將技術(shù)的優(yōu)缺點(diǎn)總結(jié)為對面部變化（表情、姿態(tài)和遮擋等）的準(zhǔn)確性、復(fù)雜性和穩(wěn)健性。該調(diào)查全面涵蓋了 3D 人臉識(shí)別的常規(guī)方法和深度學(xué)習(xí)方法，并闡明了可用的 3D 人臉數(shù)據(jù)庫和未來的研究挑戰(zhàn)與方向。

論文地址：https://arxiv.org/pdf/2108.11082v1.pdf

該調(diào)查研究的主要貢獻(xiàn)包括如下：

• 這是第一篇全面涵蓋傳統(tǒng)方法和基于深度學(xué)習(xí)的 3D 人臉識(shí)別方法的調(diào)查論文；

• 與現(xiàn)有調(diào)查不同，它特別關(guān)注基于深度學(xué)習(xí)的 3D 人臉識(shí)別方法；

• 涵蓋 3D 人臉識(shí)別最新、最前沿的發(fā)展，為 3D 人臉識(shí)別提供清晰的進(jìn)度圖；

• 它對可用數(shù)據(jù)集上的現(xiàn)有方法進(jìn)行了全面比較，并提出了未來的研究挑戰(zhàn)和方向。

如下圖 1 所示，根據(jù)所采用的特征提取方法，3D 人臉識(shí)別技術(shù)可以分為兩類：傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。

3D 人臉數(shù)據(jù)庫

大規(guī)模 3D 人臉數(shù)據(jù)庫 / 數(shù)據(jù)集對于 3D 人臉識(shí)別的發(fā)展至關(guān)重要，它們用于訓(xùn)練特征提取算法并評(píng)估其性能。為了滿足這一需求，許多研究機(jī)構(gòu)和研究人員建立了各種 3D 人臉數(shù)據(jù)庫。

下表 I 列出了當(dāng)前突出的 3D 人臉數(shù)據(jù)庫，并比較了數(shù)據(jù)格式、身份數(shù)量、圖像變化（例如表情、姿勢和遮擋）和掃描儀設(shè)備。

四種不同的 3D 數(shù)據(jù)格式如下圖 2 所示——點(diǎn)云（ 2a）、網(wǎng)格（2b）、距離圖像（2c）或深度圖，以及 3D 視頻；兩種類型的采集掃描儀設(shè)備：基于激光的和基于立體的。

傳統(tǒng)方法

如下圖 3 所示，傳統(tǒng) 3D 人臉識(shí)別系統(tǒng)中有兩個(gè)主要階段：訓(xùn)練和測試。在訓(xùn)練階段，需要 3D 人臉數(shù)據(jù)來生成特征庫，面部特征通過數(shù)據(jù)預(yù)處理和特征提取模型獲得，然后保存在特征庫中；在測試階段，獲取一個(gè)探針作為目標(biāo)人臉，并進(jìn)行與訓(xùn)練階段相同的數(shù)據(jù)預(yù)處理和特征提取過程。

人臉識(shí)別是一個(gè)匹配的過程。將目標(biāo)人臉的特征向量與存儲(chǔ)在特征庫中的特征向量進(jìn)行比較。掃描圖庫并返回匹配距離最近的人臉。如果距離小于預(yù)定義的閾值，則將目標(biāo)人臉標(biāo)記為已識(shí)別，否則失敗。因此，人臉識(shí)別過程包含三個(gè)核心步驟：數(shù)據(jù)預(yù)處理、特征提取和人臉匹配。所有這些都會(huì)影響識(shí)別的性能。

下表 2 列舉了基于局部特征的 3D 方法以及它們的重要細(xì)節(jié)。

基于深度學(xué)習(xí)的 3D 人臉識(shí)別

十年來，深度神經(jīng)網(wǎng)絡(luò)已成為最流行的人臉識(shí)別技術(shù)之一。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法比圖像處理有很大的優(yōu)勢。對于傳統(tǒng)方法，關(guān)鍵步驟是根據(jù) 3D 人臉數(shù)據(jù)的幾何信息找到穩(wěn)健的特征點(diǎn)和描述符。與端到端的深度學(xué)習(xí)模型相比，這些方法具有良好的識(shí)別性能，但涉及檢測關(guān)鍵特征的算法操作相對復(fù)雜。而對于基于深度學(xué)習(xí)的方法，可以通過在大型數(shù)據(jù)集上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)穩(wěn)健的人臉表征。

下表 III 總結(jié)了社區(qū)在該領(lǐng)域做出的非凡努力。Spreeuwers 提出了一種用于 3D 人臉配準(zhǔn)的固有坐標(biāo)系。該系統(tǒng)基于通過鼻子、鼻尖和鼻子方向的垂直對稱平面。

混合 3D 人臉識(shí)別方法結(jié)合了不同類型的方法（基于局部和基于整體），并將局部和全局特征應(yīng)用于人臉匹配。通過結(jié)合不同的特征提取技術(shù)，它們可以處理更多的面部差異，例如表情、姿勢和遮擋。最近的混合方法在下表 IV 中進(jìn)行了比較。

用于面部識(shí)別的深度神經(jīng)網(wǎng)絡(luò)很多，而卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是最受歡迎的。CNN 通常由卷積層、池化層和全連接層組成。卷積層的目的是從輸入數(shù)據(jù)中提取特征。每個(gè)卷積層使用濾波器內(nèi)核執(zhí)行卷積操作并應(yīng)用非線性傳遞函數(shù)。池化層的目標(biāo)是通過將一層神經(jīng)元簇的輸出整合到下一層的單個(gè)神經(jīng)元中來降低特征圖的維度。通過 CNN 學(xué)習(xí)的穩(wěn)健性和判別性特征表示可以顯著提高人臉識(shí)別的性能。

下圖 4 描繪了基于 Deep-CNN（DCNN）的常見人臉識(shí)別過程。

下表 V 列出了最近的基于 DCNN 的 3D 人臉識(shí)別技術(shù)。

下表 VI 總結(jié)了該調(diào)查列舉的方法在 rank-1 的不同數(shù)據(jù)庫上的識(shí)別率。與傳統(tǒng)的人臉識(shí)別算法相比，基于 DCNN 的方法具有流水線更簡單、性能更高的優(yōu)點(diǎn)。一般來說，基于深度學(xué)習(xí)的方法不必執(zhí)行關(guān)鍵點(diǎn)檢測、人臉分割或特征融合。相反，它們只需要將 3D 數(shù)據(jù)轉(zhuǎn)換為合適的網(wǎng)絡(luò)輸入格式（例如 2D 圖像）。