<mark id="oztn4"></mark>
0
| 本文作者： 金紅 | 2016-11-30 17:08 | 專題：雷峰網(wǎng)公開課 |
編者注：本文內(nèi)容來自聲智科技創(chuàng)始人陳孝良在雷鋒網(wǎng)硬創(chuàng)公開課的分享，由雷鋒網(wǎng)旗下欄目“新智造”整理。
嘉賓簡(jiǎn)介：陳孝良，博士，聲智科技創(chuàng)始人，曾任中科院聲學(xué)所副研究員和信息化辦公室主任，中科院上海高等研究院客座，北京市公安局首屆網(wǎng)絡(luò)應(yīng)急專家，主要從事聲學(xué)信號(hào)處理和 GPU 深度學(xué)習(xí)算法研究工作。
聲紋識(shí)別還是一個(gè)比較窄的學(xué)科，應(yīng)用也相對(duì)較少，在此之前，先給大家看幾個(gè)聲紋的例子。
1個(gè)月大嬰兒的哭聲聲紋
男人的口哨聲聲紋
下雨打雷聲聲紋
接吻聲聲紋
人聲和槍聲聲紋
每個(gè)例子都代表了不同的聲音特征，從表面上來看還是非常容易區(qū)分的。直觀就是看亮色的曲線差別，具體就是基音頻譜及包絡(luò)、基音幀的能量、基音共振峰的出現(xiàn)頻率及其軌跡，有條件的可以實(shí)時(shí)看自己的聲紋。
那我們就從聲紋識(shí)別的基本原理談起，聲紋識(shí)別是通過對(duì)一種或多種語音信號(hào)的特征分析來達(dá)到對(duì)未知聲音辨別的目的，簡(jiǎn)單的說就是辨別某一句話是否是某一個(gè)人說的技術(shù)。
該項(xiàng)技術(shù)最早是在40年代末由貝爾實(shí)驗(yàn)室開發(fā)，主要用于軍事情報(bào)領(lǐng)域。隨著該項(xiàng)技術(shù)的逐步發(fā)展，60年代末后期在美國的法醫(yī)鑒定、法庭證據(jù)等領(lǐng)域都使用了該項(xiàng)技術(shù)，從1967年到現(xiàn)在，美國至少5000多個(gè)案件包括謀殺、強(qiáng)奸、敲詐勒索、走私毒品、賭博，政治腐敗等都通過聲紋識(shí)別技術(shù)提供了有效的線索和有力的證據(jù)。特別強(qiáng)調(diào)的是，聲紋鑒別目前已經(jīng)是公安部的標(biāo)準(zhǔn)，是可以作為證據(jù)進(jìn)行鑒定的。
聲紋識(shí)別的理論基礎(chǔ)是每一個(gè)聲音都具有獨(dú)特的特征，通過該特征能將不同人的聲音進(jìn)行有效的區(qū)分。
這種獨(dú)特的特征主要由兩個(gè)因素決定，第一個(gè)是聲腔的尺寸，具體包括咽喉、鼻腔和口腔等，這些器官的形狀、尺寸和位置決定了聲帶張力的大小和聲音頻率的范圍。因此不同的人雖然說同樣的話，但是聲音的頻率分布是不同的，聽起來有的低沉有的洪亮。每個(gè)人的發(fā)聲腔都是不同的，就像指紋一樣，每個(gè)人的聲音也就有獨(dú)特的特征。
第二個(gè)決定聲音特征的因素是發(fā)聲器官被操縱的方式，發(fā)聲器官包括唇、齒、舌、軟腭及腭肌肉等，他們之間相互作用就會(huì)產(chǎn)生清晰的語音。而他們之間的協(xié)作方式是人通過后天與周圍人的交流中隨機(jī)學(xué)習(xí)到的。人在學(xué)習(xí)說話的過程中，通過模擬周圍不同人的說話方式，就會(huì)逐漸形成自己的聲紋特征。
因此，理論上來說，聲紋就像指紋一樣，很少會(huì)有兩個(gè)人具有相同的聲紋特征。
美國研究機(jī)構(gòu)已經(jīng)表明在某些特點(diǎn)的環(huán)境下聲紋可以用來作為有效的證據(jù)。并且美國聯(lián)邦調(diào)查局對(duì)2000例與聲紋相關(guān)的案件進(jìn)行統(tǒng)計(jì)，利用聲紋作為證據(jù)只有0.31%的錯(cuò)誤率。目前利用聲紋來區(qū)分不同人這項(xiàng)技術(shù)已經(jīng)被廣泛認(rèn)可，并且在各個(gè)領(lǐng)域中都有應(yīng)用。
聲紋識(shí)別是個(gè)寬泛的概念，技術(shù)方面有分為兩類：即說話人確認(rèn)技術(shù)和說話人辨認(rèn)技術(shù)，說話人確認(rèn)技術(shù)是用于判斷未知說話人是否為某個(gè)指定人；后者則是用于辨認(rèn)未知說話人是已記錄說話人中的哪一位。
我們通常理解的都是說話人辨認(rèn)技術(shù)，常常應(yīng)用于刑偵破案、罪犯跟蹤、國防監(jiān)聽、個(gè)性化應(yīng)用等等，說話人確認(rèn)技術(shù)常常應(yīng)用于證券交易、銀行交易、公安取證、個(gè)人電腦聲控鎖、汽車聲控鎖、身份證、信用卡的識(shí)別等。
目前來看，聲紋識(shí)別常用的方法包括模板匹配法、最近鄰方法、神經(jīng)元網(wǎng)絡(luò)方法，VQ聚類法等。
這些方法雖然處理手段不同，但基本原理是類似的，比如剛開始給大家展示的語譜圖。語譜圖是聲音信號(hào)的一種圖像化的表示方式，它的橫軸代表時(shí)間，縱軸代表頻率，語音在各個(gè)頻率點(diǎn)的幅值大小用顏色來區(qū)分。說話人的聲音的基頻及諧頻在語譜圖上表現(xiàn)為一條一條的亮線，再通過不同的處理手段就可以得到不同語譜圖之間的相似度，最終達(dá)到聲紋識(shí)別的目的。
目前公安部聲紋鑒別就采用類似方法，而且語譜圖還是用的灰度來表示。主要抽取說話人聲音的基音頻譜及包絡(luò)、基音幀的能量、基音共振峰的出現(xiàn)頻率及其軌跡等參數(shù)表征，然后再與模式識(shí)別等傳統(tǒng)匹配方法結(jié)合進(jìn)行聲紋識(shí)別。
美國和國內(nèi)都有不少企業(yè)生產(chǎn)聲紋識(shí)別的設(shè)備，公安部為采購這些設(shè)備還正式頒布了《安防聲紋識(shí)別應(yīng)用系統(tǒng)技術(shù)要求》的行業(yè)標(biāo)準(zhǔn)。
但是這種方法是一種靜態(tài)檢測(cè)的方法，存在很大的弊端，實(shí)時(shí)性不好，動(dòng)態(tài)檢測(cè)聲紋的需求實(shí)際上更大。
現(xiàn)在的大部分研究都是有關(guān)動(dòng)態(tài)實(shí)時(shí)檢測(cè)方面的，動(dòng)態(tài)檢測(cè)的方法自然要利用靜態(tài)檢測(cè)的各種原理方法，同時(shí)也需要增加其他很多算法， 比如VAD、降噪、去混響等。VAD的目的是檢測(cè)是不是人的聲音，降噪和去混響是排除環(huán)境干擾，這不僅對(duì)于聲紋檢測(cè)很中重要，對(duì)于語音識(shí)別更加重要。
VAD常用兩個(gè)方法，基于能量檢測(cè)和LTSD（Long-Term Spectral Divergence)，當(dāng)前用的較多是LTSD，另外特征提取方面還需要：動(dòng)態(tài)時(shí)間規(guī)整 (DTW)、矢量量化 (VQ)、支持向量機(jī) (SVM)，模型方面則需要隱馬爾可夫模型 (HMM)和高斯混合模型 (GMM)。
這是聲紋識(shí)別常用算法的結(jié)構(gòu)圖，所有的聲紋識(shí)別，不管是用傳統(tǒng)算法還是深度學(xué)習(xí)，都需要事先建立聲紋庫，目前最全的應(yīng)該是公安部的聲紋鑒別庫。
從上面模型不難看出，聲紋識(shí)別還是一種基于數(shù)據(jù)驅(qū)動(dòng)的模式識(shí)別問題，因?yàn)樗心Ｊ阶R(shí)別存在的問題聲紋都存在，而且聲紋識(shí)別還有一些不太好解決的物理和計(jì)算問題。
雖然聲紋識(shí)別的唯一性很好，但實(shí)際上我們現(xiàn)有的設(shè)備和技術(shù)仍然很難做出準(zhǔn)確分辨，特別是人的聲音還具有易變性，易受身體狀況、年齡、情緒等的影響。剛才也提到，若在環(huán)境噪音較大和混合說話人的環(huán)境下，聲紋特征也是很難提取和建模的。
雖然深度學(xué)習(xí)帶給模式識(shí)別極大的提升，甚至還有開源的相關(guān)算法，但是聲紋識(shí)別的研究進(jìn)展仍然不大，這仍然受制于聲紋的采集和特征的建立。
另外就是真實(shí)環(huán)境下的各種影響，包括：
1、噪音問題
2、多人說話
3、音樂噪聲
4、身體狀況
5、情緒影響
先看噪聲問題，下圖是Mitchell McLaren在論文中做的研究，噪聲對(duì)不同模型的聲紋識(shí)別影響。
從這個(gè)圖中可以看出，混響和噪聲對(duì)各類模型和方法都有非常大的影響，這和人類似，嘈雜環(huán)境中確實(shí)很難分辨出某個(gè)人的聲音，但是人耳比較奇特，我們可以很好的處理這種“雞尾酒會(huì)”效應(yīng)，但是目前機(jī)器還做不到。
音樂噪聲很好理解，因?yàn)橐魳吠ǔＪ菍拵盘?hào)，完全覆蓋了人聲的頻段，這會(huì)非常影響聲紋的特征表現(xiàn)，動(dòng)態(tài)檢測(cè)的時(shí)候更是難以提取，我們目前在語音識(shí)別中采用的是回聲抵消的方法（嚴(yán)格來說是自噪聲去除），同樣也可以用到聲紋識(shí)別，但是面對(duì)其他設(shè)備音樂也很難處理，當(dāng)前僅有波束形成這一方法。
多人說話是聲紋識(shí)別和語音識(shí)別都面臨的問題，當(dāng)前的所有模型都無法盲分離兩個(gè)以上的人聲并且同時(shí)進(jìn)行識(shí)別。
身體狀況和情緒影響是我們每個(gè)人的主要個(gè)體差異，這種差異是基于時(shí)間變化的，所以聲紋特征會(huì)出現(xiàn)某些變化，聲紋鑒別可以通過反復(fù)取樣避免這個(gè)問題，但是動(dòng)態(tài)檢測(cè)目前還沒有好辦法。
從上面幾點(diǎn)分析，也和我們主題相關(guān)，就是華帝的小V機(jī)器人，通過記錄歌手的聲紋信息進(jìn)行判斷歌手，理論上是沒有問題的。但是難的就是，這是聲紋識(shí)別最復(fù)雜的情況，不僅是要保證實(shí)時(shí)性，還要解決噪聲問題、音樂干擾、兩人識(shí)別以及歌手刻意隱藏的問題，至少目前來看，這項(xiàng)技術(shù)還遠(yuǎn)遠(yuǎn)沒有成熟。
即便從應(yīng)用來看也是這樣，除了聲紋鑒別，聲紋識(shí)別基本上就是在應(yīng)用中充當(dāng)娛樂的功能。另外，聲紋可以作為認(rèn)證手段，但是不應(yīng)該放在第一位獨(dú)立使用，而是配合其他認(rèn)證手段同時(shí)使用。
聲紋識(shí)別也和其他識(shí)別一樣，也向著深度學(xué)習(xí)的方向發(fā)展，但是又和語音識(shí)別稍有差異，傳統(tǒng)算法和模型在聲紋識(shí)別中還占有相當(dāng)大的比重。
下圖是Fred Richardson在論文中提出的聲紋識(shí)別的深度學(xué)習(xí)模型示意
深度學(xué)習(xí)的效果還是有的，下圖就是各種方法的一種比較，也就說，將來實(shí)時(shí)聲紋識(shí)別將會(huì)有比較大的突破。
但是難度也很大，因?yàn)樯疃葘W(xué)習(xí)是基于數(shù)據(jù)驅(qū)動(dòng)的模型，需要龐大的數(shù)據(jù)，這些數(shù)據(jù)最好是真實(shí)場(chǎng)景的數(shù)據(jù)，以及對(duì)數(shù)據(jù)的精確標(biāo)注，這些都是很費(fèi)錢很費(fèi)人的事情。而且聲紋識(shí)別訓(xùn)練庫的建立，至少要保證性別比例分布為50%±5%，包含有不同年齡段、不同地域、不同口音、不同職業(yè)。同時(shí)，測(cè)試樣本應(yīng)該涵蓋文本內(nèi)容是否相關(guān)、采集設(shè)備、傳輸信道、環(huán)境噪音、錄音回放、聲音模仿、時(shí)間跨度、采樣時(shí)長、健康狀況和情感因素等影響聲紋識(shí)別性能的主要因素。
也就是說，聲紋識(shí)別對(duì)數(shù)據(jù)的要求其實(shí)比語音識(shí)別還要高很多，這本身就是個(gè)很大的門檻，也是突破聲紋識(shí)別，真正能讓聲紋識(shí)別落地千家萬戶的核心因素。
現(xiàn)在的聲紋識(shí)別能夠做到多人的同時(shí)識(shí)別嗎？比如一個(gè)場(chǎng)景有一群人，可以識(shí)別區(qū)分出有哪些人或者人數(shù)嗎？
聲紋識(shí)別和語音識(shí)別從技術(shù)上目前都還無法做到多人同時(shí)識(shí)別，上面第二個(gè)問題是聲紋區(qū)分，這是可以做到的，不同人說話的聲紋是不一樣的，采用傳統(tǒng)的方法即可區(qū)分出來，當(dāng)然也可計(jì)算人數(shù)，但是有的聲音仍然可能會(huì)被漏過。人耳有個(gè)掩蔽效應(yīng)，簡(jiǎn)單說就是強(qiáng)的聲音會(huì)淹沒弱的聲音，當(dāng)前的聲學(xué)模型還無法很好的解決。
微信的搖一搖功能的電視語音識(shí)別技術(shù)使用的什么技術(shù)？
微信搖一搖是聲波通信技術(shù)，這和識(shí)別差異較大，聲波通信和無線通信類似，特別是在水中，基本只能依賴聲音進(jìn)行信息傳輸。
Adobe VoCo利用ml合成的音頻，聲紋識(shí)別是否還有效？
合成的音頻仍然是可以鑒別的，公安部的檢測(cè)首先就要排除是否合成，但是當(dāng)前動(dòng)態(tài)檢測(cè)的方法，特別是DNN訓(xùn)練的模型可能無法區(qū)分。
根據(jù)語譜圖使用CNN提取特征，會(huì)比使用常用的短時(shí)聲學(xué)特征組合更有效嗎? 長時(shí)聲學(xué)特征，比如常用語，語速，口音特征，詞法特征等，一般會(huì)被用來輔助進(jìn)行聲紋識(shí)別嗎？
長時(shí)特征比短時(shí)特征效果會(huì)提升，但是目前來看，計(jì)算的壓力會(huì)非常大，所以長時(shí)特征現(xiàn)在實(shí)時(shí)檢測(cè)中用的還較少，聲紋鑒別基本都是20秒以上，而實(shí)時(shí)檢測(cè)每幀還是20毫秒居多。
剛剛在分享中有提到聲波是有機(jī)器學(xué)習(xí)的，如果黑客一開始就去誘騙數(shù)據(jù)庫怎么辦？
這個(gè)問題非常好，是所有深度學(xué)習(xí)都無法回避的問題，如果保證采樣數(shù)據(jù)的真實(shí)性，將來肯定是大問題，但是現(xiàn)在連如何保證數(shù)據(jù)的完整性都還沒做到。實(shí)際上，我們采集的數(shù)據(jù)問題就非常多，標(biāo)注的數(shù)據(jù)準(zhǔn)確性就更難保證了，這是個(gè)困擾深度學(xué)習(xí)，也是深度學(xué)習(xí)研究人員盡量避免談及的問題。
做聲紋識(shí)別這類聲學(xué)研究，需要用到哪些基礎(chǔ)的軟硬件環(huán)境才能快速上手？能否推薦一些給初學(xué)者。
聲學(xué)研究因?yàn)槠锢硪恍孕枰恍┪锢韺?shí)驗(yàn)環(huán)境，比如聲學(xué)方面的消聲室，混響室，這可以幫助更好地理解聲音，另外還需要精密的采集設(shè)備，軟件方面倒是要求不高，有一些聲學(xué)方面計(jì)算模擬的軟件，信號(hào)處理方面的就是matlab為主。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
