<mark id="oztn4"></mark>
4
| 本文作者： 陳孝良 | 2017-01-15 19:50 |
雷鋒網按：作者陳孝良，博士，聲智科技創始人，曾任中科院聲學所副研究員和信息化辦公室主任，中科院上海高等研究院客座，北京市公安局首屆網絡應急專家，主要從事聲學信號處理和 GPU 深度學習算法研究工作。本文系雷鋒網獨家首發文章。
百度小度在“最強大腦”比賽中以1:1戰平名人堂公認最擅長聲音辨別的選手孫亦廷，引發了一些媒體的追蹤報道，我們驚喜的同時也發現有些文章的報道是不準確的，這種漫無邊際的夸大實質上對百度口碑是不利的。我們始終應該清晰的認識到：人工智能經過半個多世紀的起起伏伏，到如今開始落地到應用場景，確實是一件非常令人興奮的事情，但這不代表著人工智能就真的智能了，并且超越人類了。事實上，這才只是剛剛開始，人工智能還有很長的路要走。
我們先看“最強大腦”比賽中設定的場景，首先由嘉賓周杰倫在21位專業合唱團成員中任選三位歌唱者，并與其進行現場通話，通話錄音被截取成片段，然后人機共同根據這些通話片段，在隨后的合唱表演中一次找出這三位歌唱者。這其中有一個小插曲，周杰倫在介紹環節讓觀眾和其他嘉賓現場去試驗，沒有觀眾能從合唱中正確辨別出缺少了哪位歌唱者，這其實是根本不公平的。現場觀眾聽到的是演播室場景下通過音響系統擴放的聲音，這些聲音受到了建筑環境、音響系統的多次污染，而且是混音后的聲音，其難度完全挑戰了物理極限。但是真實比賽中，從電視畫面的場景分析來看其實完全不是這個情況，“最強大腦”節目組所設定的難度和追求的理念在實際執行過程中是大大折扣了，這非常容易產生誤導。
我們從兩幅視頻截圖中可以看出，每位歌唱者面前都擺放了獨立的麥克風，這種麥克風從外觀來看動圈式的可能性更大，動圈式麥克風的靈敏度要低于電容麥克風，其可拾取的聲音頻段也不如電容麥克風。動圈式麥克風常常應用于舞臺錄音，主要就是為了避免噪聲干擾。并且，孫亦廷面前擺放了21個按鍵可以放大任意一位演唱者的聲音，同時孫亦廷也是戴著耳罩式耳機來聽聲音。
因此節目組特意安排的這種聲學場景布局就產生了兩個疑問：
其一：每個歌唱者的聲音其實是單獨錄制的，不存在每個歌唱者之間的互相干擾和現場噪音干擾的問題，而孫亦廷聽到的聲音和現場觀眾聽到的聲音，以及電視面前各位聽到的聲音也是不一樣的。
孫亦廷聽到的聲音是每位合唱者的獨立音軌通過演播室音響系統混音后的聲音（這也有待于確認混音方法），至于孫亦廷的耳機是否包含音樂的混音我們還無法從電視畫面中確認。而現場觀眾聽到的聲音則會受到演播室音響擴聲系統和演播室建筑聲學設計的嚴重影響。電視觀眾所聽到的聲音還會受到電視音頻編解碼系統的嚴重影響。
其二：就是百度的小度機器人所獲得的音頻是怎樣的？若是直接獲取到21個歌唱者的獨立音軌，則就完全繞過了物理感知中的所有難題，僅僅只是比拼深度學習算法而已。
即便和現場演示一樣也是獲得的混音數據，由于機器人可以比人類更方便的放大每一位歌唱者的音頻，也是極大減弱了挑戰的難度，這對于人類反而不公平了。凡是學過信號處理的同學都清楚，信號處理其實不在意絕對噪聲的干擾，理想場景的物理世界是不存在的，只要符合“信噪比”這個指標就能滿足機器處理的要求。
所以有篇文章中所提到的“低質量的語音數據，又要在強噪聲干擾下對歌唱數據進行識別，對小度來說確實挑戰很大”這句話實際上是不準確的。即便“合唱發聲差異性極小且互相影響”這句話也不是確定的。小度機器人聽到的聲音，孫亦廷聽到的聲音，現場觀眾聽到的聲音和電視機觀眾聽到的聲音其實都是不一樣的，而且這個難度也是逐漸增加的。后面兩種聲音其實才是真正的挑戰極限，而且這兩種極限挑戰還存在無解的問題。因為物理世界和人耳機理存在一些特性，即便現場觀眾所聽到的聲音也有兩個難點必須考慮到：
（1）演播室音響系統，對于聲音的渲染處理會損失原始聲音特性或者增強無關特性，這將會加重人耳聽到聲音的誤差。
（2）現場聽到的聲音，也會收到演播室的建筑聲學設計和擴聲系統設計的影響，這其中還包括了聲學兩個特殊效應的制約：
其一就是哈斯效應（Haas effect; Precedence effect），這是一種雙耳心理聲學效應，聲音延遲對人類方向聽覺的影響要比能量大小的影響更大的效應，故此也被稱為優先效應。
哈斯效應是亥爾姆·哈斯于1949年在他的博士論文中描述的，常常利用哈斯效應來調整會場和音樂廳的聲音和諧。舉個簡單的例子，若你到電影院坐到了靠近音箱的位置，那幾乎聽到的聲音幾乎都是附近這個喇叭發出的了。事實上現場觀眾根本就無法區分21位歌唱者在合唱時候的差別。
其二就是掩蔽效應（Masking Effect），簡單說是環境中的其他聲音會使人類聽覺對某一個聲音的聽力降低。
當一個聲音的強度遠比另一個聲音大，當大到一定程度而這兩個聲音同時存在時，人們只能聽到音量更大的那個聲音存在，而覺察不到另一個聲音存在。其中，低頻聲的掩蔽范圍大于高頻聲的掩蔽范圍。也就說，現場觀眾可能根本就無法辨認出到底有幾個歌唱者的聲音，何談再從中識別出特征了。
當然還有更多物理定律和聲學模型的制約，即便上面的哈斯效應和掩蔽效應實際上也造成了現場聽眾可能無解的情況，因為可能壓根就沒有獲取到所需要的物理信號。這對于電視機前面的觀眾就更為苛刻了，因為即便數字電視的音頻編解碼也是有損壓縮的，這實際上又損失了眾多聲學特征信息，不管是MP3還是AAC都利用了人耳的掩蔽效應進行了壓縮，何況電視在家里的擺放同樣也無法避免建筑聲學和音響系統的制約。
因此，“最強大腦”節目組所追求的難度和效果實際上在執行過程中已經嚴重折扣了，這次比賽更是考驗深度學習算法和人腦識別的差異，而刻意回避了物理感知中的難題，和深度學習在測試集的測試結果沒有本質上的差別。
事實上，百度科學家對于這個問題是清晰認識的，百度語音識別技術負責人李先剛坦言：
就現在的深度學習或者相關技術來說，處理同一個麥克風捕捉的多人同時說話的數據確實很難做，還有很多地方值得我們去挑戰。但就實際應用場景來說，有其他方法可以較好地解決該問題，比如強化定位，正如人有兩個耳朵可以定位聲音源，在實際應用中我們可以采用多個麥克風來加強目標聲源的聲音，這樣就能較好地分辨目標聲源和周圍嘈雜。
吳恩達老師也表示，此次百度在CES上推出的小魚（Little Fish）機器人中配置了2個麥克風，可以一定程度解決多人說話的問題，未來還可以用4個、7個甚至更多麥克風來處理該問題。這也正是為何我們聲智科技一直追求提升聲學傳感技術的原因所在。
因此，這里小結一下，以觀眾所感受的難度來描述實際挑戰的難度是有夸大成分的，夸大宣傳會誤解大家對于技術發展的正確認知，從而拉大了人們預期，這對于國內的研究和產業進步都是非常不利的。我們從國外媒體中所看到的文章，其風格相比國內都是比較嚴肅保守的，包括極其風光的谷歌和亞馬遜，谷歌選用AlphaGo挑戰圍棋非常聰明，避過了人工智能的缺點，即便如此也仍然非常謹慎。亞馬遜的Echo其實已經非常成功了，但是Echo幾乎不提語音識別率的問題，即便對于遠場識別尤為關鍵的麥克風陣列也是排在了次要位置甚少強調，這都是非常聰明的。因為技術的發展還遠沒有達到國內宣傳所夸大的程度。
另外還要補充說下聰明的蘋果，大家不要忽視了這位低調的巨頭，Siri積累了那么多年，優勢是在近場語音交互，而智能耳機就是最好的落地，蘋果并沒有缺席人工智能，也不會錯過下一個計算平臺，而是悄悄的把握住了另外一個巨大的市場機會。
綜合上面分析來看，若電視場景中所表現出來的和實際工作過程都是準確如實的（抱歉畢竟只是娛樂節目，而不是公開論文可驗證，谷歌的AlphaGo再次聰明的避過了這個驗證難題），孫亦廷其實面臨的難度要超過百度的小度機器人，若公平來說，人類和機器人所面臨的挑戰難度都是極大的，百度的小度機器人也展現出來了吳恩達老師帶領百度人工智能團隊領先的水平。
這個挑戰最大的難度在于：節目組設計的挑戰是從片段的說話聲中辨認出歌唱者。周杰倫給3個歌唱者的對話都是比較簡短的，而且這個對話又被簡單處理了（只是截取，和加密也沒啥關系），我們從愛奇藝的視頻中抽取了這三段視頻，其聲紋特征如下（非現場原始音頻，已經被壓縮很大，僅供參考）：
從圖中可以看出，三個人的聲紋特征差異還是非常明顯的。但是這僅僅只是說話的聲紋，大部分唱歌的聲音和說話的聲音都是不同的。我在雷鋒網《聲紋識別技術的現狀、局限與趨勢》公開課中提到過，聲紋識別的理論基礎是每一個聲音都具有獨特的特征，通過該特征能將不同人的聲音進行有效的區分，這種獨特的特征主要由兩個因素決定：
第一個是聲腔的尺寸，具體包括咽喉、鼻腔和口腔等，這些器官的形狀、尺寸和位置決定了聲帶張力的大小和聲音頻率的范圍。因此不同的人雖然說同樣的話，但是聲音的頻率分布是不同的，聽起來有的低沉有的洪亮。每個人的發聲腔都是不同的，就像指紋一樣，每個人的聲音也就有獨特的特征。
第二個決定聲音特征的因素是發聲器官被操縱的方式，發聲器官包括唇、齒、舌、軟腭及腭肌肉等，他們之間相互作用就會產生清晰的語音。而他們之間的協作方式是人通過后天與周圍人的交流中隨機學習到的。人在學習說話的過程中，通過模擬周圍不同人的說話方式，就會逐漸形成自己的聲紋特征。
顯然，說話和唱歌的時候無法改變人類發聲的器官，這也是聲紋識別挑戰所能辨認的基礎，否則真就成了Mission Impossible。但是人類操縱發聲器官的方式是不同的，這就是很大的難度。和上面的方法一樣，我們也將第一位歌唱者的說話片段和唱歌片段從愛奇藝視頻中抽取如下:
從圖中仍然可以看出，歌唱者說話和唱歌的聲紋沒有本質的差別，但是對于基于深度學習技術的小度機器人來說，這項挑戰確實難度是極大的。節目中截取后的錄音片段，一整條語音不超過10個字，有效時間小于 3s，而且斷斷續續，這容易造成聲紋特征的缺失。更加困難的是，必須從這有限的數據中推斷出唱歌時候的聲紋是否匹配。
之所以說孫亦廷的挑戰更大，是因為除了人類自身感知記憶的缺陷，還有就是孫亦廷必須手動按鍵來放大聲音進行比對確認，這個過程是必不可少的，而上面提到了，小度機器人的處理方式肯定要比人類更簡單，否則也沒有必要在每個歌唱者面前放置麥克風。
另外，百度IDL實驗室主任林元慶的描述還欠缺一些關鍵信息：“在此基礎上，我們收集少量的，比如1000個人在特殊場景下的聲音，比如說唱歌。在比賽之前我們知道有唱歌內容，但是不知道要唱什么歌，于是去收集一些歌來訓練模型，讓模型能夠更準確的識別說話和唱歌時的聲音差異。”
這沒有準確說出這次訓練的數據來源是不是包含了21位歌唱者的唱歌數據，這非常關鍵，孫亦廷很難同時記憶21位歌唱者的唱歌聲紋，但如果機器事先訓練了，則事實上比人類提前積累了特征數據。
這里小結一下：百度小度機器人的挑戰難度確實是很大的，也展現出了百度在吳恩達老師帶領下深度學習的積累和水平，但是相對于Google的AlphaGo來說還是欠缺一些說服力，百度應該公開可以測試或者應用的技術，而不僅僅只在娛樂節目中展現技術水平。當然節目組可以繼續加大這項節目挑戰的難度，比如將21個人增加到100個人，同時考慮人聲的差異分布，還可以考慮加入現場的影響等等。
我們知道，機器的計算和存儲能力都已經超越了人類，識別能力超過人類也是毋庸置疑的事情。但是當前的語音識別能力還沒有全面超越人類，至于遠場的語音識別，因為還涉及了物理世界模型的問題，這個過程更加長遠一些。我們估計，憑借現在數據的增長和新算法的迭代，3~5年內出現人類普遍應用的語音交互產品還是很有可能的。至于圖像識別，從當前ImageNet的測試來看，從樣本測試精度已經超過了人類，但是若落地到實際場景，這個方面機器相比人類還有非常大的差距，比如大家經常忽略了圖像識別的核心攝像頭光學模組，而到當前為止，我們的核心光學模組還都是國外所供應的。
人工智能時代，是不是可以邁過PC時代和移動時代的局限，不再是從器件、芯片、OS、算法清一色的國外技術，而真正誕生出我們國家自己的核心技術？我們期望著國內的研究機構和巨頭公司能在基礎研究和核心技術上積累優勢，而在模式營銷少花點精力，也不要浪費資源搶占創業公司的應用類小市場，因為巨頭的對手應該是國外的Google、Facebook、Apple、Tesla等等這些雄心改變人類的巨頭。
理念和價值觀決定了一家公司的走向，賺錢不是成功唯一的標準，貢獻一點為人類發展有價值的事情，即便失敗了也是值得懷念和歷史記憶的，這也是我帶著兄弟們出來創業的核心動力。
深度學習帶給了我們無限的想象力，但是我們仰望星空的同時，也要腳踏實地，正確認識計算機進步帶給我們的便利和局限。計算機學科的方法論進步，其實沒有改變這個世界的物理模型，也不代表計算機領域的符號主義就此衰落，因為深度學習的舉萬反一和人類的舉一反三還是背道而馳的。深度學習更應該結合符號表示和推理模型融合發展，只不過這是喜馬拉雅山的北坡，技術的難度更加巨大。
現在的深度學習確實帶來了極大的進步，主要是在識別領域的突飛猛進，因為物理研究總是想弄明白“為什么”，然后再據此構建模型和推理。但是現在深度學習幾乎不用花費精力探討這個問題，只要擁有了海量數據，不必關心“為什么”，也不用深究特征，數據的規模和精度才是關鍵。從這個層面來看，我們就能非常容易理解這種方法的局限，深度學習當前還僅適用具有確定的規則和目標，并且基于現有知識結構，其答案也是封閉鏈條的場景，也就是我們常常提到的一些垂直場景。從這個層面來看，通用的語音識別就存在極大的不確定性，很難達到人類的程度，而且語義理解（NLP）顯然僅僅依靠大數據和深度學習是無法解決理解人類語言問題的。
但是未來終究是人工智能的時代，因此建議投身于人工智能領域的廣大學子，除了奉獻于計算機的進步，也要關注物理領域的進展，圖靈獎和諾貝獎都是推動這個世界進步的動力，而未來更多的獎項應該是我們中國學子的。
最后，我想用張鈸院士的一句話作為總結：
五十年后的事情可能我說不清楚，但是我可以說說三五年之后的事情。很多人說究竟現在是人工智能的春天還是夏天？有人說春天，因為正在蓬勃發展。有人說夏天，因為有點熱過頭了。但是我說現在是人工智能的秋天。秋天有兩個含義：一是秋天是收獲的季節，我們有很多成果。二是說秋天，是因為冬天就在前頭。
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
