前言

最近看到阿里巴巴的精靈聲學團隊的和波士頓聲學的合作，提出這是在“智能聲學”技術框架下融合調音的一次嘗試。這應該是國內廠商第一次提出類似概念，并且講解了完整的體系。智能聲學，其實并不是一個公認的聲學分支的專有名詞。若把這個詞拆分成“智能”和“聲學”，可能更好理解。智能家庭（Home automation），也稱智慧家庭或者家庭自動化，是為將智能化信息技術帶進家庭生活，從而提升居家生活品質的一種理念。智能家庭在2020年的市場規模近650億美元，預計在2028年達到1630億美元。而聲學作為重要的信息交互渠道，無論是語音交互/識別，還是各種提升聽音體驗的音頻技術，都在智能家庭中起到了越來越重要的角色。所以我粗淺地概括，智能聲學即為在智能家庭中涉及到的聲學技術的總稱。那今天咱就嘮嘮，智能聲學的發展和涉及到的聲學技術。

智能聲學發展

智能家庭中最重要的聲學設備應該就是智能音箱了。2022年智能音箱的市場規模66億美元，在智慧家庭市場中占比超過10%。音箱在智能時代已經不僅僅能播放歌曲，而是一個融合了多傳感器、AI、以及語音和聲學算法等多種前沿技術的智能設備。

智能音箱可以說是始于2014年Amazon Echo的問世。Alexa作為其內部的AI核心，可以聽懂用戶的命令從而播放歌曲。自此智能音箱橫空出世，就迅速占領市場，并且逐步成為智能家庭的核心。除了播放歌曲外，智能音箱還逐漸擴展到居家的其他方面，比如可以問天氣、股市、旅行計劃、商店開門時間、網上購物，或者是其他的一些通用話題。同時，智能音箱也可以用來控制照明和空調系統，設置定時和鬧鐘等。智能音箱已然走進了居家生活的方方面面。

除了Echo，在國外相對比較成功的廠商還有Google，Sonos，蘋果以及哈曼。而國內則主要有百度、小米、華為和阿里巴巴。群雄逐鹿的場面，各位武林盟主都有哪些奇門遁甲之術呢？我們來看看這里面主要涉及到的聲學技術……

智能聲學技術

整個智能聲學交互的過程，以人嘴為出發點，人耳為結束。用戶發出指令，通過聲源定位和噪聲消除，被智能音箱的麥克風陣列清晰地聽到，之后智能音箱的處理器進行一系列的處理，進而實現各種識別功能和調音，將回復或者音樂通過揚聲器傳送到人耳。

1 聲紋識別

聲紋識別 (voiceprint recognition) 也被稱為說話人識別（speaker recognition）或者語音生物特征識別（voice biometric recognition）,在英文語境里speaker recognition使用的更廣泛，從這個字面上看，很容易看出聲紋識別的作用，就是通過分析說話人的聲音識別出說話人的身份。聲紋識別屬于生物識別的一種。生物識別技術有很多種，大致可以分為兩大類：物理特征識別和行為特征識別。前者包含面部識別、指紋識別、視網膜識別以及虹膜識別等，后者則有聲紋識別、手勢識別和簽名識別。下面的表格詳細列出了各種技術在準確性、易用程度、用戶接受度、部署難易程度以及成本等方面的表現：

從上表中很容易看出，聲紋識別的綜合表現很優異，另外有研究表明聲紋識別的安全性表現也能和虹膜、指紋以及面部識別媲美。因為每個人說話的聲音都是獨特的，這個獨特性來自于我們各自獨特的發聲結構。對發聲結構有想進一步了解的可以參見往期文章我們是怎樣發出聲音的？。相比較于其他技術，聲紋識別的遠距離交互特性讓其更適合用于智能音箱系統上。

小故事：

聲紋識別技術的發展最早可以追溯到1932年，和美國著名的《聯邦綁架法案》（也常被稱為《小林德貝格法案》）有關。那一年，美國的飛行員查爾斯·林德貝格20個月大的兒子小林德貝格遭到了綁架最后不幸遇難。在支付贖金時，坐在汽車里的查爾斯沒有看到兇手的樣子，但聽到了兇手的聲音。兩年多后，一個嫌疑人被抓到，查爾斯聽了這個嫌疑人的聲音，在庭審時確認和兩年前聽到的聲音一模一樣。這個案件當時在全美引起了廣泛的關注，學者弗朗西斯·麥基也受此啟發，開始了最早的人聲識別技術的研究。之后的主要發展節點如下：

聲紋識別的技術框架圖如上圖所示，聲紋識別是模式識別的一種，主要分為兩個階段：訓練和測試。核心的步驟有前處理、特征提取以及建模。

2 語音識別

聲紋識別幫助音箱知道是誰在和它對話，那么教會音箱理解話里內容的則是語音識別（speech recognition）技術。下面我們介紹兩種常見傳統方法：語音學方法，模式識別法。

語音學方法在1967年由Hemdal和Hughes提出，該方法認為我們說的話由基本的語言單元（也稱音素）構成，每個語音單元可以被一組物理聲學參數表征，而這些參數同說話的人以及相鄰的語音單元成函數相關，這個函數關系很容易被機器學習到。語音學方法的第一步是對語音信號進行譜分析，然后就是進行聲學參數特征提取，緊接著進行切分和標注，就是將整個語音分割成很多的較短的獨立的部分，并給每個部分做上語音標注并與具體的詞組對應上。該方法沒有得到大規模的應用。

第二種是模式識別（模式匹配）法。該方法包含四個步驟，特征分析、模式訓練、模式分類和邏輯決策。在進行模式訓練之前需要先對輸入的語音信號進行前處理，也就是特征分析，模式訓練過程中需要創建參考模式，這個可以通過模板法或者統計模型法（Hidden Markov Model）實現。在模式分類過程中，未知的模式和參考模式會進行比較，差別也會被計算出來。這個方法在過去很長一段時間獲得了較大的關注和發展。

3. 聲源定位

聲源定位可以幫助音箱聽到人在哪里說話，然后主要關注人說話的方向，以比較高的信噪比來采集人發出的指令。聲源定位最常見的手段就是波束成型（Beamforming），通過麥克風陣列來實現對聲源的定位。波束成型的方法最早可能出現于一戰時期。我在之前的聲學可視化系列文章聲學發展史之——聲音可視化 (Sound Visualization) · 下里也有過簡單介紹。

以最簡單的Delay-and-sum beamforming為例。我們把兩部手機放到一個有網格的平面上，每部手機上都有一個喇叭，喇叭發出聲音信號，被另一個平面上的一組麥克風采集到。b圖中縱軸是麥克風，橫軸是時間。可以看到每個麥克風接收到的信號有不同程度的延遲。這個很好理解，每個麥克風距離喇叭的距離都不同，距離除以聲速就是延遲。再看d圖。我們現在進行逐行逐格掃描，每一個網格都是假設的聲源位置，算出該網格和每個麥克風的距離，進而得出延遲，然后在橫軸時間軸上對延遲進行補償。由于d圖中的網格并不是實際聲源的位置，所以下邊的彩色圖中能看出補償之后還是有延遲。而e圖顯然是找對了聲源位置，在補償延遲之后，所有麥克風的信號都是一樣的。這個時候對所有麥克風的信號求和得到的值是最大的，所以通過這種尋找空間最大值的方式可以得到喇叭的真實位置[4]。

然而現實是，如果這么簡單的話，那我們做研發的就得餓死。所以不管現實多么魔幻，還是要心懷感恩 ;) 比如距離很近的多聲源、低頻聲源、室內混響、高背景噪聲等都給波束成型的準確定位帶來挑戰。有一些優化方法比如MVDR和解卷積的方法比如DAMAS和CLEAN可以在某種程度上提高定位精度，另外有資料表明FRIDA（finite rate of innovation sampling based algorithm）和MUSIC（MUsical Signal Classification）算法的魯棒性較好，其次是SRP-PHAT（Steered-Response Power Phase Transform）和TOPS（test of orthogonality of projected subspaces），再次WAVES（Weighted Average of Signal Subspaces）和CSSM（coherent signal subspace method）算法。在角分辨率這塊FRIDA也比較好，MUSIC和SRP-PHAT次之，基于相關性的方法比非相關性方法差。近些年出現了基于機器學習或者深度學習的beamforming，也對提高定位精度和魯棒性有很大提升，我們會在接下來的內容中涉及到。

4. 回聲消除

回聲消除在通信領域是一項很重要的技術，在移動電話、遠程會議系統和助聽器等上面都有廣泛的應用。所以什么是回聲？它是怎么產生的呢？它又有什么不好的地方？為什么要消除它？相信有些人曾經碰到過，在和朋友打電話的時候，自己說完一句，緊接著你又在聽筒聽到了自己剛說的那句話，重復好幾遍，音量很大，讓你很難聽清楚朋友到底說了什么。這個延遲的自己的聲音就是回聲，可以看出它是無效的，不應該出現的，大大的影響了通話的質量和體驗。

如上圖所示，   為遠端說話人的聲音信號，   為回聲通道的脈沖響應函數，   為回聲信號，   為近端說話人的聲音，   為近端麥克風采集的聲音信號，   為誤差。遠端說話人的聲音通過近端喇叭放出后，通過直射或者反射被近端的麥克風采集到，又傳回了遠端，這就是回聲產生的基本原因。

那怎么消除回聲呢？從圖中可以看出，那就是對回聲通道的脈沖響應函數w進行估計，和遠端聲音信號進行卷積后，就可以得到回聲信號的估計值，然后將麥克風采集到的信號減去回聲信號的估計值，再進行傳輸或者播放就解決了這個問題。那怎樣對回聲通道的脈沖響應函數進行估呢？自適應濾波器。常用的算法有：LMS,NLMS,RLS,APA等。

相比較于電話通信，在智能音箱的遠場交互使用場景中，自適應的回聲消除，顯得更尤為重要。為什么呢？試想一下，音箱正在大聲播放著我們喜歡聽的歌曲，這時候我們突然想讓音箱播放今天的天氣情況，通常情況下，我們人到音箱上麥克風的距離要遠遠大于音箱上喇叭到麥克風的距離，音量也沒有喇叭播放的大，我們播放天氣的指令完全淹沒在了音箱自己播放的音樂當中，導致就沒有聽到我們的指令，因此必須進行回聲消除，否則音箱根本就不知道我們有沒有給它指令，何談交互。簡單說，回聲消除就是要讓音箱聽清我們說的。

5. 去混響

用回聲消除技術解決了音箱喇叭播放的聲音對我們語音指令的影響后，房間里的混響也會對指令產生影響。怎么理解房間混響呢？聲源發出的聲音， 除了直接抵達我們耳朵的部分，還有一部分經過房間墻壁或者家居等物品反射或者散射之后才抵達我們的耳朵，這些延遲到達的聲音就被稱為混響聲。這個延遲的時間越長，表示混響的效果越強。混響的效果太強，例如50ms的延遲，人耳已經可以區分直達聲和反射聲，這樣會影響我們的聽覺感受，不容易聽清別人的話，或者覺得聲源播放的音樂品質較差。適當的混響，例如10~30ms的延遲，由于人耳的時間掩蔽效應，會增強我們的聽覺感受。但是對于智能音箱的耳朵，也就是麥克風來說，它并沒有人耳那樣的時間掩蔽效應，我們說出的語音指令聲音，除了直接抵達麥克風的部分，混響導致的延遲部分聲音，很不利于后續的語音識別，也就是不利于音箱聽清我們說的話，必須進行處理，這個處理技術方法稱為語音去混響（Dereverberation）。常見的去混響算法有三大種：第一種是波束成型，這是一種空間濾波的方案，就是讓音箱只聽到來自特定方向的聲音，其他方向直接消除或削弱。第二種是語音增強，可以進一步細分為基于統計模型的去混響方法、基于LPC(linear predictive coding)方法、基于特征值分解方法。第三種是盲反卷積法。

下面的視頻，展示了一個人在一個具有特殊混響效果的房間-也被稱為混響室-里，說話的效果，是不是都“肉眼可見”到聲音在到處亂串反射，很是抓狂，聽不清視頻里的人說話？

6. AI技術融合

AI可能已經是爛大街的“過氣”熱詞了。可能和很多其他的熱點技術不同，AI是真正已經在工業界落地好多年的技術，在各個領域解決實實在在的各種問題，雖然也早已被學術界盯上并使之陷入瘋狂內卷，發個paper不帶上AI出門都不好意思跟人打招呼。

AI全稱Artificial intelligence，中文名曰人工智能。在我們提到的前幾項技術中，都能見到AI的身影。未來關鍵是要做好聲學與AI的融合。比如在聲源定位中，如果背景噪聲過大或者同時有很多人在說話，傳統的波束成型及其改進的算法在精準定位發出指令的人聲和計算效率上都有局限性。現在可以通過卷積神經網絡來解決這個問題。其過程可以簡單理解為將每個頻率點的beam pattern作為神經網絡的輸入，將真實聲源的pattern作為參考，求解出一個可以去掉beam pattern中噪點的網絡[5]。

在語音識別和聲紋識別中也是類似的道理，比如可以將不同人聲的不同指令的時頻譜作為網絡的輸入，通過不斷搜集數據增大數據庫，增加識別的準確率。其實和用于圖像處理的AI類似，不管是beam pattern還是時頻譜本質上都是圖片[6]。

如果想提升模型的計算效率和準確性，往往我們需要提取出更有用的feature（特征），以增大輸入參數的正交性。也就是說，讓輸入參數更具代表性。除了可以在音頻信號中做文章之外，還可以結合其他傳感器，比如觸覺傳感器，EEG（腦電圖），EMG（肌電圖），相機，IMU（慣性測量單元），將多傳感器的信號進行多模態融合（Fusion），從而能讓網絡更加準確地識別用戶意圖，了解用戶需求，提升用戶體驗。

7. 均衡器EQ，調音和金耳朵

通過音箱回放聲音的時候，由于音箱自身和回放環境的影響，我們往往無法真實還原原始聲音信號。這是由于音箱的物理限制，以及聲音在空間中的反射造成的。均衡器叫Equalizer，簡稱EQ，顧名思義是用來均衡聲音的，補償我們之前提到的音箱和空間環境的影響。理想狀況下，我們給什么樣的聲音信號，聽到的就應該是一模一樣的聲音信號。舉一個簡單的不太恰當的例子，比如在任何頻率放出的聲音強度都是1，那么我聽到的也應該都是1，EQ的目的就是把那些不是1的調成1。我們可以在不是1的地方加上相應濾波器，把小于1的地方拉大，把大于1的地方縮小。當然現實中我們還有更高的追求，比如想讓聲音更飽滿低沉，那么需要給低頻部分增大到1.5；如果想讓聲音更明亮，則可以把高頻部分調大到1.5；又或者600Hz附近女聲特別響，那么就要在這里加個notch filter把這部分能量削弱。更高階一點的涉及到空間音頻，比如有一組音箱，如果想要獲取比如說“舞臺在前邊”的聽音體驗，那就除了調音之外還要考慮到不同音箱到達人耳的延遲。

然而過度的調音會讓音樂失去本身所要表達的情感，即所謂的“包漿”過度。所以目前一些智能音箱提出“不包漿”均衡器的理念。

如果僅僅靠冷冰冰的曲線，就說能達到完美的聽音體驗是不現實的。我們人耳非常挑剔，所以有的時候曲線可以很漂亮，但是聽著不舒服；或者比如我想讓聲音低沉飽滿，那低頻是調到1.5呢還是1.49？這個時候“金耳朵”的重要性就體現出來了。知乎上經常被提到的“百萬調音師”就是長著金耳朵的那群人。寫到這里想到前公司一個項目里的甲方爸爸，有幾個金耳朵，通過金耳朵專家們聽出來的良品和次品作為我們機器學習訓練的樣本，因為專家們耳朵的靈敏度不是線性時不變的，導致我們模型經常性的效果不佳-_-。

這個職業我是沒辦法做到了。了解我們文章的讀者應該還記得，我曾經放過我的聽力曲線……我覺得其實有必要在我耳朵里邊放一個EQ其實……對這個話題感興趣的請戳：聲學發展史之——心理聲學(Psychoacoustics) · 下

智能聲學未來趨勢

智能聲學是以智能音箱為基礎的技術，所以自然不能忽略了音箱的本質——播放音樂。我們在發展技術的同時，一定要同時密切關注人的聽音體驗。簡單說一說筆者想到的智能音箱音頻方面的未來發展趨勢。

3D音頻

這個不是專屬智能音箱的技術，而是音箱的普世技術。當家里的智能音箱≥1的時候，我們就可以把3D音頻考慮進來。比如我們坐在家里的沙發上聽周杰倫的演唱會，也能有身臨其境在現場的感覺。舉一個最簡單的3D音頻的例子，坐在沙發上，周董就在我們正前方的舞臺上唱歌。周董走到了舞臺的左邊和觀眾互動，我們聽到的聲音和我們看到的要一樣，閉上眼睛不看我們也知道他走到了舞臺的左邊。之前有過一篇文章詳細了介紹了Facebook的Reality Lab在3D音頻發展的相關技術：聽見未來生活：Audio in the future life

我們作者群的Li博士在Facebook Reality Lab做研究的時候就和3D音頻的主要負責人有過合作。

多房間音頻

這個比較好理解，我們在客廳用智能音箱聽歌，現在想去臥室待會，最直觀的做法就是把音箱拎到臥室。那么問題來了：如果是多個智能音箱，那可能實現起來就會比較困難。所以3D音頻的進化體就是多房間的3D音頻。在每個房間都布局智能音箱，通過傳感器追蹤人的位置，實時渲染3D音頻，不影響聽音體驗。比如在我是躺著聽了一會歌，然后起來去做飯，走到廚房這一路和在廚房做飯照聽不誤。不止聽音體驗，這種布局也能做到時時刻刻呼喚語音助手，不用扯著脖子沖著隔壁房間吼。

個人聽音區間（Personal sound zone）

坐在沙發上的兩個人，一個在聽演唱會，另一個在聽MIT的公開課，兩個人聽到的東西互不影響，這個感覺是不是很酷？除了在室內環境，這項技術在車內也是熱門研究對象。這項技術目前有很多局限性，比如在混響空間里邊就很難實現多區間控制。而且在不同頻率范圍的表現也不盡相同，比如低頻效果要比高頻效果好，因為高頻需要非常多的音箱數量[Cecchi 2018]。這個問題可以被MEMS音箱解決，因其體積小價位低。MEMS 音箱也是聲學里邊比較前沿的技術，也是智能音箱可以發展的一項技術之一。我們作者群的德克薩斯大學的牛小宇博士所在的UT Acoustic MEMS Lab一直致力于這方面的研究，感興趣的也可以看下他寫過的指向性MEMS麥克風的文章地球上最先進的麥克風，居是蒼蠅耳朵……

非線性均衡（Nonlinear equalization）

我們在用EQ調音的時候，不僅在調由于房間反射引起的失真，同時也在調由于音箱和放大系統引起的線性或者非線性失真。我們經常提到的均衡或者調音主要是在調節線性失真。近年來，也有研究在利用Volterra濾波器來模擬放大器-喇叭-腔體系統，然后再把信號播出，來均衡系統的線性和非線性行為。

定制化調音

根據使用者喜歡的音樂風格，來做相關的定制化調音。根據所聽音樂的頻率成分，來學習使用者的喜好。并制成屬于使用者特有的均衡曲線，加到其所聽的音樂當中。

定向聲技術

TWS耳機固然好，但是再舒服的耳機戴久了也會不舒服。所以國內外都開始了定向聲技術的研發。我在讀博時候一個辦公室的以色列好基友前幾年就在做這個事情，他們也把這項技術叫做虛擬耳機。國內我所了解中科院聲學所也在做。

把耳機+音箱+3D回放融為一體，取其精華，去其槽粕。其原理主要有三點：

1. 通過3D傳感器，對頭部尤其是雙耳位置進行識別；

2. 高指向聲音打向耳朵。獲取雙耳位置信息后，雙耳音頻信號被調制成超聲，因此實現對雙耳的精準打擊，然后通過某種非線性、自解調的算法（并不知道是什么方法，有知道的請不吝賜教），在雙耳處還原原始音頻；

3. 超聲發射由一種特殊音箱（Multi-cell speaker module）完成。

什么都不用帶，達到了戴耳機的效果。其功能又是音箱沒法媲美的，虛擬耳機可以做到聲音只讓目標人聽見，而其他人聽不見。其意義在公共空間巨大，比如博物館一個房間不同區域可以根據主題播放不同音頻而不互相干擾，車里一家三口可以不用帶耳機聽自己想聽的音樂，辦公室接打電話。

其概念十分吸引人，不知道具體效果如何。有幾個問題很好奇他們是怎么解決的，比如耳朵追蹤的精度，超聲能否直接把聲音送達耳道外沿，送達位置和追蹤偏差會引起HRTF不準從而導致雙耳感受下降，以及如何保證解調之后的聲音不向周圍環境傳播等等。

據量子位、雷鋒網等人工智能媒體的報道，阿里的精靈聲學實驗室對于未來智能聲學的發展提出了四大趨勢：

這個總體判斷中，比較有意思的是在音樂類型和聲學架構上，這個團隊似乎有一些自己特定的面向消費者的技術探索。后續產品和技術值得期待。在底層技術上，他們提出的自適應環境感知與發聲單元，是較有前景的發展趨勢。

資料推薦

按常理文章后要總結一下，但是我覺得也沒有太大必要，留個開放式的結尾給讀者無限遐想（主要還是覺得自己沒那個能力做全方位的總結）。所以最后分享一些寫這篇文章時讀過的文章作為干貨送給大家吧。另外參考里邊的鏈接大家也可以去點。

· Arora, 2012. Automatic Speech Recognition: A Review

· Gaikwad, 2010. A Review on Speech Recognition Technique

· Bentley, 2018. Understanding the Long-Term Use of Smart Speaker Assistants

· Cecchi, 2018. Room Response Equalization—A Review

· Xue, 2020. Progress and Prospects of Multimodal Fusion Methods in Physical Human–Robot Interaction: A Review

· Hanifa, 2021. A review on speaker recognition: Technology and challenges

· Cohen, 2021. An online algorithm for echo cancellation, dereverberation and noise reduction based on a Kalman-EM Method

· Yang, 2018. Multilayer Adaptation Based Complex Echo Cancellation and Voice Enhancement

參考

[1] https://www.fortunebusinessinsights.com/industry-reports/home-automation-market-100074

[2] https://www.globenewswire.com/news-release/2022/03/23/2408568/0/en/Smart-Speakers-Global-Market-Report-2022.html#:~:text=Major%20players%20in%20the%20smart,ONKYO%20CORPORATION%2C%20and%20Panasonic%20Corporation.

[3] https://www.igadgetsworld.com/smart-speakers-history-future/

[4] William Fonseca. Beamforming considerando difra??o acústica em superfícies cilíndricas. Doctoral Thesis. Universidade Federal de Santa Catarina (UFSC), 2013.

[5] https://www.sciencedirect.com/science/article/abs/pii/S088832702100354X

[6] https://www.merl.com/demos/seamless-asr

[7] https://dmgaudio.com/products_equick.php?a=cart.incrementQuantity.4

[8] https://www.focusonics.com/technology/

文章來源：子魚說聲學

免責聲明：本文系網絡轉載，版權歸原作者所有。如涉及版權，請聯系刪除！