<mark id="oztn4"></mark>
0
| 本文作者： 任平 | 2024-03-26 10:19 | 專題：AI for Science |
在數(shù)據(jù)和算法塑造的現(xiàn)代世界中，人工智能正快速地推動(dòng)社會(huì)變革。
在此背景下，一群學(xué)者將關(guān)注投向了社會(huì)邊緣群體——聽障人士。他們通過深入的研究和開放的對(duì)話，探索科技如何成為溝通的橋梁，為每個(gè)人帶來溫暖。
最近，雷峰網(wǎng)組織的“AI+手語識(shí)別：技術(shù)革新與應(yīng)用前景”線上圓桌論壇，匯聚了田英利、倪蘭、蘇劍波、方昱春四位教授，他們憑借對(duì)聽障社群和AI技術(shù)的深刻理解，進(jìn)行了一場(chǎng)內(nèi)容豐富的對(duì)話。
兩個(gè)小時(shí)的時(shí)間里，他們談到手語與計(jì)算機(jī)視覺技術(shù)、語言學(xué)技術(shù)的結(jié)合，還討論了倫理、隱私保護(hù)和實(shí)際應(yīng)用等關(guān)鍵議題，為理解聽障人士如何與科技融合提供了新的視角。
這不免讓人回憶起喬布斯所言：“技術(shù)本身并不足以改變世界，關(guān)鍵在于技術(shù)背后的人?！边@四位教授正是通過技術(shù)實(shí)現(xiàn)社會(huì)變革的代表。
田英利教授，作為計(jì)算機(jī)視覺領(lǐng)域的權(quán)威專家，這十年來專注于將手語識(shí)別技術(shù)應(yīng)用于改善聽障人群的溝通。疫情期間，她團(tuán)隊(duì)的手語識(shí)別系統(tǒng)的遠(yuǎn)程測(cè)試引發(fā)了一個(gè)關(guān)鍵猜想：手語識(shí)別系統(tǒng)的有效性可能更依賴于上下文語義理解，而非細(xì)致的多層標(biāo)注，這一發(fā)現(xiàn)為實(shí)際應(yīng)用開辟了新的可能性。
倪蘭教授，擁有豐富的語言學(xué)背景，二十年來專注于“手語語言學(xué)”的研究。她探討了語言學(xué)對(duì)手語識(shí)別的深層意義，提出了在AI時(shí)代重新定義語言學(xué)家角色和貢獻(xiàn)的必要性。
蘇劍波教授，從產(chǎn)品開發(fā)視角出發(fā)，強(qiáng)調(diào)了手語識(shí)別技術(shù)面臨的實(shí)際挑戰(zhàn)，尤其是樣本采集的場(chǎng)景特定性與技術(shù)和產(chǎn)品通用性之間的平衡問題。
方昱春教授，同樣作為一位CV學(xué)者，指出手語識(shí)別的復(fù)雜性遠(yuǎn)超人臉識(shí)別，并基于七年的研究經(jīng)驗(yàn)，對(duì)手語數(shù)據(jù)的收集和管理提出了見解，指出面部隱私保護(hù)技術(shù)“DeID”，可能為手語數(shù)據(jù)的安全共享提供新的解決方案。
這場(chǎng)論壇不僅促進(jìn)了技術(shù)交流，更是跨學(xué)科合作的典范，正如在圓桌結(jié)束后觀眾所言：如果說交叉學(xué)科研究中最稀缺什么，那一定是敞開心扉的對(duì)話。
以下是線上圓桌的全文（經(jīng)編輯）：
田英利：歡迎大家齊聚線上，也感謝雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))的組織。我相信大家和我一樣，都對(duì)接下來手語識(shí)別討論充滿期待。在開始之前，請(qǐng)大家介紹下自己。
倪蘭：我是倪蘭，來自上海大學(xué)文學(xué)院，語言學(xué)及應(yīng)用語言學(xué)專業(yè)。我進(jìn)入手語研究領(lǐng)域至今已經(jīng)整整二十年。在上海大學(xué)，我們成立了中國(guó)手語及聾人研究中心，這個(gè)中心致力于手語的學(xué)術(shù)研究和聾人群體的社會(huì)調(diào)查，以此增進(jìn)社會(huì)對(duì)這個(gè)群體及其語言的理解。
蘇劍波：大家好！我是蘇劍波，來自上海交通大學(xué)和上海靈至科技有限公司。很高興有這個(gè)機(jī)會(huì)與大家交流我在手語識(shí)別方面的研究。我的工作最初源于人機(jī)交互領(lǐng)域，最開始并非專門針對(duì)聾啞或殘障人士。我的初衷是讓機(jī)器人能夠通過人類的下意識(shí)行為、表情和肢體語言來識(shí)別意圖和情緒。在這個(gè)過程中，我逐漸意識(shí)到手語在表達(dá)情感中的重要性，并開始專注于聾/啞人群的手語識(shí)別。
我目前的研究仍未完全區(qū)分健聽人和聽障人士的手勢(shì)識(shí)別，我將繼續(xù)在這個(gè)混合領(lǐng)域進(jìn)行探索。希望今晚能與大家分享我的研究成果。
方昱春：我是方昱春，來自上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院。自2017年起，我開始涉足手語研究，并深感榮幸能得到倪老師的支持和指導(dǎo)開展交叉學(xué)科研究。手語作為一門自然語言，遠(yuǎn)不止是符號(hào)系統(tǒng)那么簡(jiǎn)單，這深深吸引了我。我們有幸獲得國(guó)家文字語言委員會(huì)和上海市科學(xué)技術(shù)委員會(huì)科研經(jīng)費(fèi)的支持，在上海大學(xué)建立了專門的語言采集實(shí)驗(yàn)室和推廣基地，并開展了相關(guān)教學(xué)課程建設(shè)。期待未來能與大家進(jìn)行更深入的合作。
田英利：我是田英利，自1998年在美國(guó)卡內(nèi)基梅隆大學(xué)開始接觸人的表情識(shí)別研究。在那里，我與導(dǎo)師和團(tuán)隊(duì)共同創(chuàng)建了第一個(gè)微表情識(shí)別數(shù)據(jù)庫，多年來被同領(lǐng)域廣泛使用。在IBM工作三年后，我于2008年加入紐約城市大學(xué)，開始思考如何將計(jì)算機(jī)視覺研究應(yīng)用于幫助有特殊需求的人群，特別是盲人和聾人。
手語作為聾人與外界交流的主要方式，不僅包括手勢(shì)，還涉及面部表情和身體動(dòng)作。掌握手語對(duì)聾人和健聽人來說都不容易，因此，如果能開發(fā)出自動(dòng)識(shí)別手語的技術(shù)，將極大地幫助聾人在就業(yè)和社交方面。
盡管各國(guó)都在努力，但手語識(shí)別仍面臨挑戰(zhàn)。我希望今天的論壇能讓我們更深入地理解這一領(lǐng)域，為未來的研究和產(chǎn)業(yè)應(yīng)用提供實(shí)際指導(dǎo)。
田英利：第一個(gè)問題，關(guān)于手語識(shí)別領(lǐng)域的進(jìn)展，盡管眾多團(tuán)隊(duì)和個(gè)人已在這個(gè)方向上努力多年，但仍有許多值得探討的空間。國(guó)內(nèi)外有哪些學(xué)術(shù)和工業(yè)團(tuán)隊(duì)在這一領(lǐng)域取得了顯著成就？他們的研究成果是如何推動(dòng)手語識(shí)別技術(shù)發(fā)展的？倪蘭教授，請(qǐng)您先開始。
倪蘭：作為從事語言學(xué)研究的學(xué)者，我對(duì)手語識(shí)別領(lǐng)域的認(rèn)識(shí)可能不夠深入，但可以和大家分享一些我所了解的情況。
2003年當(dāng)我們開始手語研究項(xiàng)目時(shí)，哈爾濱工業(yè)大學(xué)和中國(guó)科學(xué)院的自動(dòng)化所、計(jì)算所等已在進(jìn)行相關(guān)研究，早期側(cè)重于穿戴式設(shè)備而非計(jì)算機(jī)視覺（CV）。隨著CV技術(shù)進(jìn)步，這個(gè)領(lǐng)域發(fā)生了顯著變化。
目前，國(guó)內(nèi)活躍的從事手語識(shí)別技術(shù)團(tuán)隊(duì)不僅包括哈工大和中科院的團(tuán)隊(duì)，還有中科大的周文罡教授團(tuán)隊(duì)已在該領(lǐng)域深耕十多年，北京聯(lián)合大學(xué)的姚登峰教授，作為聽障學(xué)者，他的研究具有獨(dú)特視角，他也正在建設(shè)中國(guó)手語和漢語的平行語料庫，讓聾人學(xué)生進(jìn)入團(tuán)隊(duì)采集手語數(shù)據(jù)，取得了不少成果。天津理工大學(xué)的聾人工學(xué)院多年前開始建設(shè)中國(guó)手語長(zhǎng)篇語料數(shù)據(jù)集。我所在的上海大學(xué)自2017年成立手語研究中心起，就開始建立實(shí)驗(yàn)室，采集手語視頻視頻，借鑒了國(guó)外數(shù)據(jù)采集的經(jīng)驗(yàn)，在較為純凈的背景下進(jìn)行拍攝，便于計(jì)算機(jī)后期建模，盡管在實(shí)驗(yàn)室采集，我們也盡量使用各種方式以誘導(dǎo)更自然的手語表達(dá)，以便獲取自然語料。
蘇劍波：我對(duì)手語識(shí)別領(lǐng)域的研究，起于對(duì)機(jī)器人領(lǐng)域的人機(jī)交互理論和技術(shù)的關(guān)注，并非一開始就專注于聾人手語。我更關(guān)心的是如何讓機(jī)器人能夠通過對(duì)人的手勢(shì)，乃至肢體行為的自動(dòng)識(shí)別，來理解人類的情緒和意圖。
因此，我對(duì)相關(guān)團(tuán)隊(duì)的關(guān)注點(diǎn)可能與倪老師提到的有所不同。
在機(jī)器人學(xué)領(lǐng)域，國(guó)內(nèi)外許多研究機(jī)構(gòu)如中科院自動(dòng)化所、哈工大，以及我所在的上海交通大學(xué)和曾做過訪問研究的香港中文大學(xué)等，都在進(jìn)行相關(guān)研究，盡管尚未形成完整體系。這些研究通常基于特定項(xiàng)目或產(chǎn)業(yè)化需求，利用計(jì)算機(jī)視覺技術(shù)和工具積累，在企業(yè)提出的應(yīng)用需求上，開發(fā)各種能幫助殘障人士或聾啞人交流的技術(shù)或工具。
應(yīng)用場(chǎng)景如政府機(jī)關(guān)職員或醫(yī)院中醫(yī)生與聾啞病人的交流，所需的語料庫相對(duì)有限，側(cè)重于典型詞匯的表達(dá)意圖或含義，而非全面的語言學(xué)研究。
但相似的是，我們的研究同樣從視頻入手，專注于語義和含義的識(shí)別，更側(cè)重于通用語料庫的應(yīng)用。
方昱春：作為計(jì)算機(jī)視覺專業(yè)的學(xué)者，我踏入手語識(shí)別這一研究領(lǐng)域，最初是受到手語語言學(xué)的啟發(fā)，激發(fā)了我的研究熱情。
國(guó)內(nèi)，中國(guó)科學(xué)技術(shù)大學(xué)手語識(shí)別團(tuán)隊(duì)在手語識(shí)別領(lǐng)域取得了顯著成就。國(guó)際上，德國(guó)亞琛工業(yè)大學(xué)的研究團(tuán)隊(duì)同樣在這一領(lǐng)域享有盛譽(yù)。這兩個(gè)團(tuán)隊(duì)?wèi){借超過十年的研究積累，發(fā)布了多代數(shù)據(jù)集，推動(dòng)了孤立詞識(shí)別、連續(xù)手語識(shí)別和手語翻譯等關(guān)鍵問題的研究，并引領(lǐng)了整個(gè)領(lǐng)域的發(fā)展。
此外，中科院計(jì)算所、西安電子科技大學(xué)、清華大學(xué)、香港科技大學(xué)、西湖大學(xué)，中科院自動(dòng)化所、合肥工業(yè)大學(xué)、東北大學(xué)近年來也在手語識(shí)別領(lǐng)域持續(xù)發(fā)表了高水平成果。天津理工大學(xué)也建立了數(shù)據(jù)集。
特別值得一提的是，中科院計(jì)算所陳益強(qiáng)研究員團(tuán)隊(duì)，在基于數(shù)據(jù)手套的手語理解領(lǐng)域取得了顯著成就，他的團(tuán)隊(duì)在聾校進(jìn)行了教學(xué)應(yīng)用和人機(jī)交互場(chǎng)景的探索。在2017年我們正準(zhǔn)備采用計(jì)算機(jī)視覺技術(shù)進(jìn)行手語識(shí)別時(shí)，陳益強(qiáng)教授鼓勵(lì)我們嘗試，盡管當(dāng)時(shí)成功的可能性并不確定。畢竟，當(dāng)時(shí)“人臉識(shí)別”取得了限定范圍應(yīng)用，“手語識(shí)別”的難度無疑更高。
2023年，參與手語識(shí)別研究的學(xué)校和企業(yè)數(shù)量進(jìn)一步增加。
國(guó)內(nèi)外企業(yè)如小米、華為、騰訊，以及微軟、谷歌等也都積極參與這一領(lǐng)域的研究。很多企業(yè)關(guān)注開發(fā)具備手語能力的數(shù)字人，以提升人機(jī)交互體驗(yàn)。
手語識(shí)別領(lǐng)域近年來的快速發(fā)展，新的數(shù)據(jù)集和相關(guān)競(jìng)賽的頻繁發(fā)布預(yù)示著這一領(lǐng)域的未來潛力。
田英利：我接著談?wù)勎以诿绹?guó)做手語識(shí)別的經(jīng)驗(yàn)，以及對(duì)國(guó)際手語識(shí)別領(lǐng)域的觀察。
相比較而言，歐洲比美國(guó)更早關(guān)注殘障人士研究，但美國(guó)很快跟上了步伐，我很高興看到中國(guó)許多單位也開始這一領(lǐng)域的研究。這背后最大的推動(dòng)力是人工智能和機(jī)器學(xué)習(xí)的進(jìn)步，以及計(jì)算機(jī)算力的提升，使得原本不可能的研究變得可行。
正如剛才倪教授所說，早期手語識(shí)別研究，包括與語言相關(guān)的研究，一開始是依賴于穿戴手套等設(shè)備來捕捉手指運(yùn)動(dòng)，實(shí)現(xiàn)基本詞匯的識(shí)別。但現(xiàn)在，隨著技術(shù)的發(fā)展，尤其是微軟為游戲設(shè)計(jì)的RGBD攝像頭的應(yīng)用，許多學(xué)校開始使用RGBD技術(shù)進(jìn)行捕捉。這不僅提供了視頻信息，還增加了深度信息，極大地提高了計(jì)算機(jī)視覺算法的精度。
目前，手語識(shí)別的主要瓶頸是缺乏通用的大型數(shù)據(jù)庫。盡管自然語言學(xué)習(xí)領(lǐng)域數(shù)據(jù)庫技術(shù)已有顯著進(jìn)展，但手語識(shí)別仍面臨挑戰(zhàn)。美國(guó)、德國(guó)，希臘、土耳其等國(guó)也在進(jìn)行數(shù)據(jù)采集和識(shí)別工作。
我們的團(tuán)隊(duì)自2004年起研究手語識(shí)別，結(jié)合計(jì)算機(jī)視覺技術(shù)和語言學(xué)研究，希望將人的表情、手勢(shì)和身體動(dòng)作結(jié)合起來進(jìn)行識(shí)別，滿足聾人的真實(shí)需求。
這個(gè)過程中，我們與很多高校建立起合作，比如羅切斯特理工大學(xué)（RIT），他們擁有規(guī)模龐大的聾人學(xué)院，超過1000名聾人學(xué)生；以及紐約城市大學(xué)亨特學(xué)院的Elaine Gale教授，她是一位失聰者，精通唇語，并在手語教育方面有著豐富的經(jīng)驗(yàn)。
所以我們團(tuán)隊(duì)的工作流程相當(dāng)于一條龍服務(wù)：RIT負(fù)責(zé)數(shù)據(jù)采集和標(biāo)注，我們負(fù)責(zé)開發(fā)系統(tǒng)算法，然后Gale教授的團(tuán)隊(duì)在他的課堂上與學(xué)生一起驗(yàn)證我們的系統(tǒng)，并提供反饋，以便我們進(jìn)一步改進(jìn)。
我們意識(shí)到手語是一種完整的語言，不僅限于有限的詞匯。我們的目標(biāo)是研究手語的語法結(jié)構(gòu)，而非單一手勢(shì)。目前我們打造出一條針對(duì)美國(guó)手語的語法實(shí)時(shí)識(shí)別系統(tǒng)，能自動(dòng)反饋學(xué)生手語的語法正確性，提供快速反饋。
我期望國(guó)內(nèi)能建立跨學(xué)科的、成體系的研究環(huán)境，不僅僅是語言學(xué)者或計(jì)算機(jī)學(xué)院的獨(dú)立研究，而是能夠整合不同學(xué)科、聚集各類人才。我相信，隨著研究的深入，這一領(lǐng)域?qū)?huì)取得更大的進(jìn)步。
田英利：第二個(gè)問題：如何從零開始構(gòu)建并部署一套高效的手語識(shí)別系統(tǒng)，在這一過程中我們面臨了哪些技術(shù)難題？大家是如何克服這些難題的？還有哪些問題尚未解決？倪老師，請(qǐng)先開始。
倪蘭：手語識(shí)別系統(tǒng)構(gòu)建不是我的專業(yè)，我可以從語言學(xué)的角度提供一些參考。在我看來，手語識(shí)別的過程類似于人類學(xué)習(xí)一門新語言的過程，我們需要理解詞匯的意義、語法結(jié)構(gòu)，最終達(dá)到理解整個(gè)語言系統(tǒng)的目的。從某種意義上說，手語識(shí)別就是將人類的語言學(xué)習(xí)經(jīng)驗(yàn)傳授給機(jī)器的過程。
在構(gòu)建手語識(shí)別系統(tǒng)時(shí)，我們需要解決的關(guān)鍵問題是如何匹配形式和意義。剛才田老師提到的方法，似乎是將整個(gè)句子視為一個(gè)結(jié)構(gòu)來處理，而不是單獨(dú)識(shí)別每個(gè)詞。這種方法似乎更側(cè)重于語言單位的整體性，而不是單個(gè)詞的識(shí)別。
在國(guó)內(nèi)，許多團(tuán)隊(duì)可能是先從識(shí)別孤立的詞匯開始，然后逐步擴(kuò)展到整個(gè)句子或段落的識(shí)別。但田老師提到的方法是不要求具體詞的精確識(shí)別，而是關(guān)注整個(gè)句子的意義匹配。這實(shí)際上涉及到語言學(xué)中的“語塊理論”，即“以意義為單位進(jìn)行語言分析”。
我很想知道，田老師的方法是否需要人工標(biāo)注句子的意義，以及在形式和意義的匹配過程中，如何界定語言單位，以及如何進(jìn)行標(biāo)注。這些可能是我們?cè)跇?gòu)建手語識(shí)別系統(tǒng)時(shí)需要深入討論的問題。
田英利：倪老師，您提到的問題非常關(guān)鍵。確實(shí)，手語的連續(xù)性和句子間的切分對(duì)于理解整個(gè)表達(dá)非常重要。機(jī)器學(xué)習(xí)在切分方面可能與傳統(tǒng)語言學(xué)的方法有所不同。在我們的研究中，雖然我們沒有對(duì)每個(gè)詞進(jìn)行識(shí)別，但我們確實(shí)對(duì)一些與語法相關(guān)的關(guān)鍵詞進(jìn)行了識(shí)別，比如表示時(shí)間的“昨天”、“前天”以及“明天”、“后天”，這些都是通過手勢(shì)、位置和表情來表達(dá)的語法元素。
我認(rèn)為，隨著對(duì)手語每個(gè)詞識(shí)別精度的提高，我們將能夠更好地理解整個(gè)句子。就像我們?cè)谡f話時(shí)，即使每個(gè)詞都聽得懂，但如果沒有上下文的理解，我們也無法完全把握說話者的意圖。同樣，在手語中，上下文的理解也非常關(guān)鍵。同一個(gè)手勢(shì)，在不同的上下文中可能表達(dá)完全不同的意義。
總的來說，我認(rèn)為，對(duì)手語中單個(gè)詞的理解是必要的一步，但同時(shí)，我們也需要關(guān)注上下文和整體句子的理解。這樣才能更全面地把握手語的含義。再次感謝倪老師您的寶貴意見，它們對(duì)我們的研究工作具有重要的啟發(fā)意義。
倪蘭：田老師，您剛才提到了語言理解，包括語法中的時(shí)間詞和疑問詞等。您在處理這些問題時(shí)，會(huì)考慮句子的語序嗎？比如，時(shí)間詞在句子中的位置，我們是將其放在句首、句中還是句尾？例如在漢語中，我們可能會(huì)說“我昨天去了哪里”，這里的“昨天”是放在中間的。您在研究中會(huì)考慮這種語法結(jié)構(gòu)嗎？
田英利：是的，我們會(huì)考慮這些因素。我們不僅關(guān)注詞的位置，還關(guān)注它們的時(shí)間因素。
例如，我們不能在說出“倪老師，你吃飯了嗎？”這個(gè)問題之后，過了很久才做出詢問的表情（比如眉毛上挑），這樣的話，表情就與問題脫節(jié)了。因此，我們不僅要考慮表情發(fā)生的時(shí)間，還要考慮它與關(guān)鍵詞、問題句子的相對(duì)時(shí)間關(guān)系。這樣的考慮才能賦予其語法意義。在美國(guó)手語和中國(guó)手語中，這些都是關(guān)鍵問題。
蘇劍波：這個(gè)問題確實(shí)是手語識(shí)別領(lǐng)域中非常核心的技術(shù)難題。我很難說我們已經(jīng)克服了哪些挑戰(zhàn)，或者更準(zhǔn)確地說，我認(rèn)為在手語識(shí)別方面，我們?nèi)匀幻媾R著大多數(shù)問題尚未解決的現(xiàn)實(shí)。
正如方老師剛才所指出的，手語識(shí)別是一個(gè)比人臉識(shí)別要復(fù)雜得多的領(lǐng)域。確實(shí)如此，十多年前，我有一個(gè)碩士研究生專注于人臉識(shí)別研究，他取得了非常好的成果，并發(fā)表了優(yōu)秀的論文。畢業(yè)后，他去了香港中文大學(xué)攻讀博士學(xué)位，那里的導(dǎo)師希望他能將他在人臉識(shí)別研究中的經(jīng)驗(yàn)和成果應(yīng)用到手語識(shí)別上。他深思熟慮了好幾個(gè)月，最終還是放棄了，因?yàn)樗私獾绞终Z識(shí)別的難度，所以沒有繼續(xù)這個(gè)方向的研究。
手語識(shí)別領(lǐng)域的要求和對(duì)不同場(chǎng)景的適應(yīng)能力，以及對(duì)語言語料庫的積累，都使得它在模式識(shí)別領(lǐng)域中獨(dú)樹一幟。盡管我也是從計(jì)算機(jī)視覺和模式識(shí)別技術(shù)起步的，自然而然地會(huì)尋找能夠代表某一類模式的特征集合，這是我們這些受過模式識(shí)別專業(yè)訓(xùn)練的人的本能反應(yīng)。
但這種傳統(tǒng)模式識(shí)別領(lǐng)域內(nèi)有效的方法，在手語識(shí)別領(lǐng)域可能就不那么適用了。手語的多樣性和變化性——場(chǎng)景、人物、職業(yè)的不同，甚至不同地區(qū)和方言的差異——使得手語的特征選擇和定位變得異常困難，遠(yuǎn)遠(yuǎn)超出了人臉識(shí)別等其他模式識(shí)別任務(wù)的復(fù)雜性。手語識(shí)別不僅包括靜態(tài)手勢(shì)的識(shí)別，還包括動(dòng)態(tài)手勢(shì)的識(shí)別，這就像文字?jǐn)嗑湟粯?，不同的斷句方式可能?dǎo)致完全不同的語言含義。手勢(shì)的這種“斷句”差異可能會(huì)導(dǎo)致真實(shí)含義的巨大變化，甚至完全相反的意思。更不用說不同國(guó)家和方言的差別了。
在實(shí)際研究過程中，我們可能都會(huì)遇到類似的經(jīng)歷。如果我們基于公開的標(biāo)準(zhǔn)數(shù)據(jù)庫集進(jìn)行手語研究，相對(duì)來說進(jìn)展會(huì)比較容易。但如果我們基于真實(shí)人物采集的數(shù)據(jù)庫進(jìn)行研究，難度就會(huì)大大增加，因?yàn)槭终Z和手勢(shì)的特征提取也會(huì)變得非常個(gè)性化！因此，如何將這些研究成果轉(zhuǎn)化為廣泛接受的手勢(shì)或手語表達(dá)形式，是手語研究中極具挑戰(zhàn)性的問題。
在模式識(shí)別領(lǐng)域，無論是語音識(shí)別、人臉識(shí)別還是指紋識(shí)別，都有專門針對(duì)這些領(lǐng)域的工具和技術(shù)。然而，針對(duì)手語識(shí)別，我們似乎更多地是將其他領(lǐng)域的成功方法應(yīng)用到這里，而沒有針對(duì)手語識(shí)別開發(fā)出專門的技術(shù)手段和算法。
這反映了我們?cè)谶@個(gè)領(lǐng)域開發(fā)特定技術(shù)難度的問題，或者說是通用性的難以實(shí)現(xiàn)。我們現(xiàn)在所做的工作，大多是基于模式識(shí)別領(lǐng)域內(nèi)公認(rèn)的技術(shù)，如卷積神經(jīng)網(wǎng)絡(luò)和各種濾波手段。然而，很難期望一個(gè)并非為特定領(lǐng)域中特定環(huán)境下解決特定問題而設(shè)計(jì)的工具，能夠?qū)⒃擃I(lǐng)域的問題解決到極致。
我們提出了所謂的“特征完備性”概念，針對(duì)常用的幾百個(gè)手勢(shì)，無論背景、職業(yè)、應(yīng)用場(chǎng)景和文化背景如何不同，人們?cè)诒磉_(dá)同一語義時(shí)手勢(shì)之間的相似性，及不同語義時(shí)的手勢(shì)之間的差別，都可以通過一個(gè)足夠完備的特征集合給予描述；同時(shí)，為了減少識(shí)別的計(jì)算量又期望特征的整體規(guī)模要足夠小，即特征之間的正交性。這是我們把在其他模式識(shí)別領(lǐng)域的一些成功思想，拓展到手語研究。
通過上海靈至科技有限公司和上海追求人工智能科技有限公司兩家公司的市場(chǎng)化合作，我們?cè)噲D將模式識(shí)別的通用技術(shù)應(yīng)用于幫助殘障人士領(lǐng)域，他們擁有市場(chǎng)資源，能夠獲得特殊行業(yè)如多地聾啞學(xué)校的支持，從而采集特定的樣本。
但是，我們有時(shí)也會(huì)質(zhì)疑，在特定場(chǎng)景下采集的樣本對(duì)于樣本的拓展性和通用性究竟有多大的價(jià)值？這很難說清楚。這些都是我們?cè)谑终Z研究方面的一些困惑和難點(diǎn)。我提出的問題多于解決方案，接下來請(qǐng)問方老師，您那邊有什么想法嗎？
方昱春：我先回答問題的第一部分，關(guān)于如何構(gòu)建和部署手語識(shí)別系統(tǒng)。
我的研究小組還沒有開發(fā)出真正能夠應(yīng)用于實(shí)際場(chǎng)景的手語識(shí)別系統(tǒng)。但是，在觀看了田老師的專訪后，我深刻地理解了為什么田老師的工作，倪老師會(huì)認(rèn)為特別有價(jià)值。因?yàn)樘锢蠋熕齻冞x擇的問題——將計(jì)算機(jī)視覺方法應(yīng)用于幫助學(xué)習(xí)手語的人，以便更準(zhǔn)確地表達(dá)語法——實(shí)際上是手語語言學(xué)與計(jì)算機(jī)視覺模式識(shí)別交叉學(xué)科中的一個(gè)非常精彩的問題。
選擇這樣的問題進(jìn)行研究，應(yīng)該是非常有智慧，是交叉學(xué)科研究和應(yīng)用非常好的例子。它不僅具有很高的實(shí)用價(jià)值，而且從語言學(xué)的角度來看，也具有很高的學(xué)術(shù)價(jià)值。這對(duì)我們來說是一個(gè)非常好的啟示。
手語方面，最大的困難在于數(shù)據(jù)標(biāo)注。與自然語言相比，我們目前擁有的手語數(shù)據(jù)集標(biāo)注量非常少。自然語言可以進(jìn)行字、詞、語法、語義、語用的復(fù)雜標(biāo)注，有大量的語言學(xué)家可以幫助完成這些工作。然而，要獲得如此詳盡的手語標(biāo)注數(shù)據(jù)，難度就非常大了。這與手語本身的復(fù)雜性有關(guān)，它涉及到上半身多個(gè)部位的協(xié)調(diào)運(yùn)動(dòng)，并且具有很強(qiáng)的語言模式，這本身就是一個(gè)挑戰(zhàn)。
要像自然語言理解那樣去做手語理解，難度是非常高的。正如蘇老師剛才總結(jié)的一些經(jīng)典問題，比如復(fù)雜性光照、背景復(fù)雜性、姿態(tài)復(fù)雜性等，這些都是我們?cè)谟?jì)算機(jī)視覺問題中需要面對(duì)的挑戰(zhàn)。這些問題可能只有一部分可以通過計(jì)算方法解決，但我認(rèn)為選擇一個(gè)好的應(yīng)用場(chǎng)景也很重要。例如，田老師語法糾正的應(yīng)用就是一個(gè)實(shí)例。如果我們的應(yīng)用場(chǎng)景是限定的，那么我們現(xiàn)在已經(jīng)實(shí)現(xiàn)的一些視覺方法就可能落地應(yīng)用。
至于其他的難點(diǎn)，可能要等到前面提到的數(shù)據(jù)采集和標(biāo)注問題解決后，以及一個(gè)好的應(yīng)用場(chǎng)景的選擇，我們才能慢慢理解手語，進(jìn)而促進(jìn)我們理解人類的語言智能和認(rèn)知智能。在這個(gè)基礎(chǔ)上，可能會(huì)逐漸發(fā)展出更加普遍化的手語識(shí)別技術(shù)。
倪蘭：在討論手語識(shí)別的過程中，我們不得不提到語言學(xué)的分類。
我們知道，目前的許多語言學(xué)研究，包括像ChatGPT這樣的模型，主要處理的是文本，也就是我們所說的書面語。對(duì)于書面語的標(biāo)注，我們有很多數(shù)據(jù)庫，無論是現(xiàn)代漢語還是古代漢語，都有相應(yīng)的標(biāo)注資源。然而，當(dāng)我們轉(zhuǎn)向口語，也就是有聲語言時(shí)，雖然現(xiàn)在漢語口語的數(shù)據(jù)庫并不多。但至少在語音識(shí)別領(lǐng)域，我們已經(jīng)有一定的標(biāo)注基礎(chǔ)，語音標(biāo)注可能主要關(guān)注元音和輔音等方面。
但在手語標(biāo)注方面，我很想了解你們?cè)谟?jì)算機(jī)識(shí)別或合成領(lǐng)域主要需要什么類型的標(biāo)注。我們?cè)谑褂靡恍┸浖M(jìn)行語言學(xué)標(biāo)注時(shí)，可以實(shí)現(xiàn)多層標(biāo)注，最多可以達(dá)到50層甚至60層。但這樣的標(biāo)注對(duì)于計(jì)算機(jī)的手語識(shí)別有用嗎？
我曾看過一些用于打榜的標(biāo)注，比如西班牙手語的標(biāo)注，主要是對(duì)個(gè)別詞進(jìn)行切分和語義標(biāo)注，而不是完整的詞匯切分。對(duì)于與語言學(xué)家的合作來說，你們最需要的標(biāo)注是哪一種？你們需要標(biāo)注到多少層，才能解決識(shí)別一個(gè)句子或一段話的問題？我對(duì)這個(gè)問題非常好奇。
田英利：對(duì)于視覺領(lǐng)域的手語識(shí)別來說，我們最關(guān)心的是語義理解。也就是說，當(dāng)我們看到一整個(gè)手語句子時(shí)，我們想要知道它在表達(dá)什么意思。至于詞的層面，了解孤立詞的語義對(duì)我們來說已經(jīng)足夠了，并不需要像語言學(xué)研究那樣進(jìn)行50層細(xì)節(jié)的標(biāo)注。
我們的主要應(yīng)用目標(biāo)是實(shí)現(xiàn)正常的交流，這是首要的一步。但是僅從視覺角度來解決這個(gè)問題基本上是不現(xiàn)實(shí)的，我們必須與語言學(xué)家、手語使用者，包括聾人社區(qū)合作，共同解決問題。
接下來，我們要考慮的是如何將這個(gè)復(fù)雜的問題簡(jiǎn)化。就像自然語言處理一樣，即使是像ChatGPT這樣的大規(guī)模模型，最初的研究也是集中在“新聞報(bào)道”這樣比較官方、正式的內(nèi)容上。只有在這些基礎(chǔ)工作做好之后，我們才能慢慢擴(kuò)展到不同的口語或其他領(lǐng)域。如果第一步做不好，后續(xù)的工作基本上就無法進(jìn)行。
倪蘭：那么回到這個(gè)問題上來，就是說在構(gòu)建系統(tǒng)的過程中，我們需要對(duì)標(biāo)注的規(guī)范達(dá)成一致的標(biāo)準(zhǔn)，對(duì)嗎？這是我們需要明確的。
田英利：確實(shí)如此，拿我們團(tuán)隊(duì)來說，從一開始就明確了我們的研究方向。無論是系統(tǒng)開發(fā)還是視頻手語捕捉，我們都事先討論并決定了使用哪些傳感器，以及捕捉的詳細(xì)要求，比如是捕捉整個(gè)句子還是多個(gè)句子。我們最終選擇了多個(gè)句子的方法，這樣一來，我們就涉及到了不同句子之間以及不同詞之間的分割問題。
另一個(gè)挑戰(zhàn)是，正如我們?cè)诳谡Z中不是每個(gè)詞都有意義一樣，手語中的手勢(shì)也不全是有意義的。有些手勢(shì)具有意義，而有些則沒有。在實(shí)驗(yàn)室環(huán)境中，人們可能會(huì)刻意減少這些無意義的手勢(shì)，但在實(shí)際應(yīng)用中，人們會(huì)自然地使用各種無意義的連接手勢(shì)。因此，如何準(zhǔn)確地進(jìn)行分割變得尤為重要。
我尤其想說一個(gè)插曲。當(dāng)我們基本上開發(fā)出這個(gè)系統(tǒng)，并準(zhǔn)備在課堂上進(jìn)行測(cè)試時(shí)，新冠疫情爆發(fā)了，學(xué)生們無法到校上課。面對(duì)這種情況，我們不得不讓學(xué)生在家中使用手機(jī)完成作業(yè)，并將視頻發(fā)給我們進(jìn)行系統(tǒng)測(cè)試。由于原本使用的是RGBD傳感器，現(xiàn)在D（深度信息）的部分沒有了，我們發(fā)現(xiàn)學(xué)生的視頻中手的位置、遠(yuǎn)近不一，有時(shí)手勢(shì)甚至超出了畫面。
這對(duì)系統(tǒng)的考驗(yàn)非常大。在這種情況下，即使我們不能識(shí)別每一個(gè)詞，我們也需要能夠理解整句話的意義。這就像我們?cè)诰W(wǎng)絡(luò)通話中，即使偶爾丟失了幾個(gè)詞，我們?nèi)匀荒軌蚶斫庹麄€(gè)對(duì)話或段落的意思。因此，我認(rèn)為在實(shí)際應(yīng)用中，我們不一定需要非常細(xì)致的多層標(biāo)注，但我們需要能夠識(shí)別整個(gè)句子或段落的含義。如果我們能夠做到這一點(diǎn)，那么這個(gè)系統(tǒng)就可以投入使用了。
蘇劍波：我來補(bǔ)充一點(diǎn)。在實(shí)際應(yīng)用中，我們面臨一個(gè)挑戰(zhàn)，那就是基于標(biāo)準(zhǔn)手語庫訓(xùn)練出的識(shí)別系統(tǒng)如何應(yīng)對(duì)真實(shí)用戶，比如聾人在實(shí)際使用中的手勢(shì)并不總是那么標(biāo)準(zhǔn)？
從模式識(shí)別的角度來看，這就像是你收集了大量的語料庫，但在實(shí)際應(yīng)用中，如何將系統(tǒng)擴(kuò)展到具體用戶的樣本上，你的系統(tǒng)可擴(kuò)展性到底能達(dá)到何種程度？實(shí)際上，這非常制約整個(gè)系統(tǒng)的實(shí)用性。
田英利：這確實(shí)是一個(gè)問題。就像ChatGPT一樣，盡管它現(xiàn)在非常強(qiáng)大，但它也不能提供任何問題的答案。特別是對(duì)于幫助殘障人士的系統(tǒng)，一定要有個(gè)性化定制的那一步。也就是說，基本系統(tǒng)建成后，針對(duì)每個(gè)人的具體應(yīng)用，必須有一個(gè)調(diào)整過程。這是必不可少的。否則，對(duì)于個(gè)人用戶來說，應(yīng)用過程中會(huì)存在斷層。
蘇劍波：確實(shí)，我們需要一個(gè)標(biāo)準(zhǔn)系統(tǒng)作為基礎(chǔ)，然后針對(duì)特定用戶進(jìn)行自我學(xué)習(xí)或調(diào)整的過程，這樣才能逐漸提高系統(tǒng)對(duì)該特定用戶的準(zhǔn)確度。
田英利：是的，無論如何，還有另一個(gè)問題是關(guān)于用戶界面的。無論你的技術(shù)有多好，如果你的界面不友好，用戶就不會(huì)去使用它。
蘇劍波：對(duì)，所以這個(gè)磨合過程往往會(huì)讓用戶失去耐心。
田英利：這就是為什么我們?cè)谧铋_始的時(shí)候就要把聾人朋友納入到整個(gè)系統(tǒng)的開發(fā)中來。這些朋友對(duì)新技術(shù)充滿熱情，他們也愿意幫助和貢獻(xiàn)。然后再進(jìn)行推廣。如果一個(gè)不成熟的產(chǎn)品在推廣時(shí)讓用戶決定不再使用，那么以后想要讓他們重新使用就會(huì)變得非常困難。
倪蘭：我理解蘇老師的困惑所在。可能因?yàn)槊绹?guó)手語的發(fā)展時(shí)間比中國(guó)手語要長(zhǎng)，但在中國(guó)手語中，我們確實(shí)面臨著蘇老師提到的各種“地方變體”的問題。
對(duì)語言學(xué)家來說，語言的多樣性是語言成熟度的表現(xiàn)，我們非常樂于接受。但手語有自身的復(fù)雜性，有方言的問題，還有群體內(nèi)部的異質(zhì)性（因?yàn)椴煌慕逃尘?、家庭情況、聽損情況等，他們的手語使用情況千差萬別）。
不同于普通話，我們可能只關(guān)注發(fā)音是否標(biāo)準(zhǔn)。聾人群體中，手語的好壞差異巨大。即使在公認(rèn)的手語較好的聾人中，也存在差異。很多聾人并沒有接受過系統(tǒng)的手語教育，他們大多靠自學(xué)。
手語的標(biāo)準(zhǔn)并沒有像有聲語言那樣有一個(gè)明確的評(píng)判標(biāo)準(zhǔn)。通用手語目前只是一些詞匯，而這些詞匯也是從各地手語中采集來的，未來還需要進(jìn)一步完善。
實(shí)際上，我們比較過通用手語常用詞表和之前手語詞典的詞匯，發(fā)現(xiàn)詞匯差異并沒有我們想象的那么大。比如通用手語中的“安靜”是一個(gè)復(fù)合詞，即兩個(gè)手勢(shì)，但上海聾人可能只用一個(gè)手勢(shì)，這種情況實(shí)際上并不影響核心意義的傳達(dá)。
我特別關(guān)注田老師所做的工作，她不僅僅關(guān)注孤立詞的識(shí)別，而是關(guān)注整個(gè)句子意思的理解，這對(duì)我們有很大的啟發(fā)性。因?yàn)槭终Z的方向和位置變化很大（例如我看到小孩學(xué)手語時(shí)在頭的位置打出“牛奶”的手語，其他人也能看懂），如果我們能找到一些工具專門提取手語中有價(jià)值的特征，可能會(huì)對(duì)手語識(shí)別技術(shù)非常有幫助。
田英利：我認(rèn)為您補(bǔ)充得非常好。實(shí)際上，在應(yīng)用過程中，即使我們無法準(zhǔn)確識(shí)別單個(gè)詞，我們?nèi)匀豢梢酝ㄟ^視覺方法來理解整個(gè)句子的意思。
確實(shí)，要在現(xiàn)有技術(shù)水平下完全準(zhǔn)確地通過視覺方法識(shí)別出所有意思有些困難。但蘇老師團(tuán)隊(duì)的公司在針對(duì)特定場(chǎng)景研發(fā)技術(shù)，這非常能幫助到聾人。
例如，我們可以開發(fā)一些特定的產(chǎn)品，比如一個(gè)小軟件，專門用于醫(yī)療場(chǎng)景中的對(duì)話，包含與病痛或醫(yī)生溝通的詞匯。這樣，當(dāng)他們?nèi)タ瘁t(yī)生時(shí)，只需要使用有限的詞匯，比如三百到五百個(gè)，甚至幾個(gè)手勢(shì)，比如“肚子疼”、“頭疼”，就能表達(dá)他們的不適。這樣簡(jiǎn)化復(fù)雜問題，即使不能完全解決問題，也能在實(shí)際生活中為殘障人士提供便利。
蘇劍波：是的，這是一個(gè)很好的方法。我們?cè)趯?shí)際操作中，可以先讓系統(tǒng)猜測(cè)病人可能的意思，然后再確認(rèn)，這樣的交互可能更實(shí)用，而不是追求一次性識(shí)別出完整的意思。
田英利：在開發(fā)系統(tǒng)時(shí)，一定要將聾人納入系統(tǒng)的一部分。因?yàn)樗麄兪窍到y(tǒng)的直接用戶，所以讓他們參與驗(yàn)證可以大大提高系統(tǒng)的準(zhǔn)確率。當(dāng)系統(tǒng)明確知道他們的意思后，可以將其翻譯給醫(yī)生。即使醫(yī)生沒有學(xué)過手語，通過語音或文字的翻譯，就能理解他們的意思。
蘇劍波：是的，對(duì)于福利院、養(yǎng)老院或?qū)ｉT用于照顧殘障人士的機(jī)器人，它們可以通過人臉識(shí)別來識(shí)別出某個(gè)人習(xí)慣使用的手勢(shì)。經(jīng)過一段時(shí)間的自我學(xué)習(xí)后，它們就能快速準(zhǔn)確地識(shí)別出特定聾人的手語。但在許多應(yīng)用場(chǎng)景中，機(jī)器人沒有這樣的機(jī)會(huì)進(jìn)行學(xué)習(xí)，所以這一步就無法實(shí)現(xiàn)。如果能讓機(jī)器人長(zhǎng)期陪伴一個(gè)聾人，那么這方面的壓力就會(huì)減少很多。這就是我們的方向。
田英利：第三個(gè)問題，ChatGPT、Sora等大型語言模型在自然語言處理（NLP）領(lǐng)域取得了顯著成就。這些模型背后的設(shè)計(jì)理念和技術(shù)路徑，對(duì)手語識(shí)別研究有何啟示？方老師，請(qǐng)您先分享。
方昱春：我認(rèn)為ChatGPT作為大模型的典型例子，其成功的實(shí)用化范例很大程度上依賴于海量數(shù)據(jù)的支持。那么，這對(duì)手語識(shí)別有何關(guān)聯(lián)呢？
我們認(rèn)為，大型模型實(shí)際上是在大量文本語料上學(xué)習(xí)語義之間的關(guān)聯(lián)性。而手語識(shí)別處理的是視覺方式傳達(dá)的語義。人類在表達(dá)社會(huì)生活時(shí)，在語義空間中仍有許多共通之處。因此，我們認(rèn)為大型模型的成功經(jīng)驗(yàn)可以借鑒，特別是在構(gòu)建語義空間方面，可能會(huì)加速我們對(duì)手語理解的研究。
這目前還只是一個(gè)猜想，我們尚未真正付諸實(shí)踐。
此外，像Sora這樣的文生視頻大模型在多模態(tài)信息處理方面展現(xiàn)出了強(qiáng)大的能力。手語本身也是一種多模態(tài)形式，其形式是視覺信號(hào)，而內(nèi)容傳達(dá)的是語言信息。因此，我們也認(rèn)為Sora這種多模態(tài)的工作方式可以給我們提供很好的啟示。
主要在這兩個(gè)方面——語義和多模態(tài)——我們可以借鑒和使用大模型，對(duì)手語識(shí)別技術(shù)提供支持。
倪蘭：ChatGPT在2023年成為了最熱門的話題，從年初到年末都備受關(guān)注。在我們語言學(xué)界，ChatGPT的出現(xiàn)引起了巨大的轟動(dòng)。以前我們認(rèn)為理解語言需要依賴語言學(xué)家來提供有價(jià)值的信息，然而ChatGPT和Sora等模型似乎表明，只要有數(shù)據(jù)就足夠了。
許多學(xué)者也在探討：人工智能時(shí)代，語言學(xué)家能做些什么？
盡管在有聲語言識(shí)別，尤其是文本識(shí)別方面，人們可能認(rèn)為語言學(xué)家的作用不再重要，但我認(rèn)為在初期，語言學(xué)家提供的一些關(guān)于語言的重要信息是有價(jià)值的，包括語法結(jié)構(gòu)等。
結(jié)構(gòu)主義對(duì)我們?nèi)宋念I(lǐng)域產(chǎn)生了深遠(yuǎn)影響，我們知道語音、句子和詞匯都是可以切分的，這種結(jié)構(gòu)化的認(rèn)識(shí)對(duì)于今天的大語言模型可能已經(jīng)被遺忘，但它們最初的工作是至關(guān)重要的。
關(guān)于通用性，我們也在思考是否能夠在手語領(lǐng)域找到一些最核心的信息，比如它的結(jié)構(gòu)。盡管目前缺乏大規(guī)模的數(shù)據(jù)集，但也許我們可以找到一些關(guān)鍵的手語信息，這可能對(duì)手語識(shí)別有一定的推動(dòng)作用。在與方老師和其他老師的溝通中，我們發(fā)現(xiàn)，許多老師認(rèn)為手語是一個(gè)無法結(jié)構(gòu)化的混沌整體，但一旦進(jìn)行了結(jié)構(gòu)化分析，就可以反復(fù)應(yīng)用這些規(guī)律，這就是結(jié)構(gòu)的力量。
因此，我們可以從ChatGPT中得到啟示，思考在手語識(shí)別中哪些核心架構(gòu)是關(guān)鍵的。
我記得在早期的GPT-3.0版本中，有些句子的搭配感覺有問題，但經(jīng)過不斷的訓(xùn)練后，它就能夠擴(kuò)展。我們是否也能在手語識(shí)別中找到一些關(guān)鍵的結(jié)構(gòu)？比如手語動(dòng)詞的方向性，如果我們知道這一點(diǎn)，那么我們就不會(huì)將“我愛你”和“你愛我”識(shí)別成兩個(gè)獨(dú)立的手勢(shì)，而是能夠理解方向性動(dòng)詞的開始和結(jié)束位置是可以標(biāo)記成句子的主、賓語。還有手指的朝向，它也可以表示賓語，這些都是結(jié)構(gòu)化的特征。我們?cè)诜治鍪中螘r(shí)發(fā)現(xiàn)，中國(guó)手語中表示”錢“的時(shí)候，很多人認(rèn)為必須拇、食指要捏成圓形。但實(shí)際上，在實(shí)際使用中并不會(huì)完全捏圓，這時(shí)不捏圓和捏圓的手形在意義上沒有差別。當(dāng)我們?cè)谡Z料中發(fā)現(xiàn)這兩種手形實(shí)際上不區(qū)別意義時(shí)，這是否可以提高識(shí)別的準(zhǔn)確性？
所以，我認(rèn)為一方面ChatGPT告訴我們需要大量數(shù)據(jù)的積累，另一方面也提示我們有些核心信息需要早期放入到標(biāo)注中，或者在構(gòu)建手語識(shí)別系統(tǒng)時(shí)，可以提供給計(jì)算機(jī)一些知識(shí)庫信息。
正如大家所討論的，實(shí)際應(yīng)用中，每次向ChatGPT提問得到的回答都會(huì)有所不同，我們可以在缺乏數(shù)據(jù)的情況下通過關(guān)鍵信息讓系統(tǒng)不斷自我學(xué)習(xí)，自我應(yīng)用。
當(dāng)我們?nèi)狈ψ銐虻恼Z言學(xué)者和標(biāo)注人員時(shí)，未來實(shí)現(xiàn)自動(dòng)標(biāo)注可能是解決大數(shù)據(jù)問題的途徑，因?yàn)橄到y(tǒng)可以自適應(yīng)地學(xué)習(xí)。
蘇劍波：這個(gè)問題我已經(jīng)思考了很久。包括ChatGPT和Sora這樣的工具，從技術(shù)發(fā)展的角度來看，它們都是非常清晰的人工智能工具。
ChatGPT主要是基于文本的人工智能工具，而Sora則是基于圖像和視頻的人工智能工具。因此，從手語識(shí)別的角度來看，我個(gè)人感覺Sora對(duì)手語識(shí)別的幫助可能要超過ChatGPT。
我們一直在思考的問題是，傳統(tǒng)上我們總是需要從圖像或視頻中提取各種特征，無論是幾何特征還是統(tǒng)計(jì)特征，并評(píng)價(jià)這些特征能否表達(dá)圖像所代表的語義含義。從這個(gè)角度來看，無論是目標(biāo)識(shí)別、運(yùn)動(dòng)分析、顏色識(shí)別，還是其他類似的任務(wù)，最終都要拓展到語義層面。
但我一直思考的是，比如我們觀看一段視頻或電影時(shí)，我們關(guān)注的是視頻中的人物、情節(jié)和行為，我們可以從頭到尾理解視頻的內(nèi)容和意義，而不會(huì)過分關(guān)注計(jì)算機(jī)提取的圖像或視頻特征。那么我們?cè)谧鍪终Z識(shí)別時(shí)，真的需要通過提取視頻中的特征來識(shí)別手語的語義嗎？
當(dāng)然，計(jì)算機(jī)視覺的傳統(tǒng)理論都是這樣，選用什么樣的特征表達(dá)關(guān)注的語義決定了基于計(jì)算的人工智能系統(tǒng)的性能，因此而考慮特征選擇和提取的魯棒性、速度和準(zhǔn)確性。
Sora給我的沖擊是，它是通過視頻的方式來理解內(nèi)容，但它的機(jī)理是什么？我不清楚。
它是通過傳統(tǒng)意義上的計(jì)算機(jī)視覺特征提取來完成視頻理解，還是通過其他手段？
這激發(fā)了我們對(duì)手語知識(shí)表達(dá)最有效的手段是什么的思考，包括語義的拓展和新的情緒、語義生成手段是什么？
如何讓機(jī)器人能夠生成手語來表達(dá)自己的意思，或者理解殘障人士的意思，并通過手語解釋給他們聽？
在這個(gè)過程中，可能真的需要理解人類的思考或意圖，這種計(jì)算模型是什么？
是否一定要基于我們?cè)谟?jì)算機(jī)視覺中學(xué)到的統(tǒng)計(jì)或幾何特征？
我不清楚，但我體會(huì)到了ChatGPT和Sora給我的這種反向刺激。
觀察人與人之間的交流時(shí)，包括健康聽人和聾啞人的交流，人們是如何通過各種手勢(shì)來理解他人的情緒或殘障人士的手勢(shì)含義的。
反過來說，計(jì)算機(jī)的計(jì)算能力遠(yuǎn)遠(yuǎn)超過人類，它是否一定要模仿人類不一定是計(jì)算方式的理解他人或殘障人士手勢(shì)的過程？
在這個(gè)過程中，它應(yīng)該使用什么樣的特征和模型來表達(dá)？這些模型或特征未必是人類需要或使用的。
我們以前總是說人工智能首先要學(xué)習(xí)人類是如何獲得智能的，或者智能是如何進(jìn)化的。我現(xiàn)在懷疑，計(jì)算機(jī)在發(fā)展人工智能或計(jì)算智能時(shí)，是否一定要走人類智能生成、發(fā)展和進(jìn)化的同一條路？
田英利：回答您這個(gè)問題確實(shí)頗具挑戰(zhàn)性，因?yàn)殛P(guān)于人腦如何產(chǎn)生智能的問題，目前科學(xué)界還沒有確切的結(jié)論。
眾所周知，任何關(guān)于人類智能進(jìn)展的研究，都會(huì)對(duì)計(jì)算機(jī)人工智能的發(fā)展產(chǎn)生重大影響。然而，即便是小孩子的思維也不是二進(jìn)制的，而計(jì)算機(jī)只能通過0和1的二進(jìn)制來進(jìn)行運(yùn)算。計(jì)算機(jī)必須依靠其強(qiáng)大的計(jì)算能力來模擬，甚至達(dá)到小學(xué)生水平的智能。
最近，得益于強(qiáng)大的計(jì)算力和海量數(shù)據(jù)，ChatGPT似乎實(shí)現(xiàn)了一個(gè)飛躍。但我們也必須承認(rèn)，盡管ChatGPT取得了巨大進(jìn)步，它提供的想法或答案并不總是準(zhǔn)確的。有時(shí)我們開玩笑說，ChatGPT經(jīng)常一本正經(jīng)地胡說八道，看似頭頭是道，實(shí)則可能是錯(cuò)誤的。
為什么會(huì)出錯(cuò)？因?yàn)樗狈ε袛嗄芰?，只能依?jù)以往的大數(shù)據(jù)來得出結(jié)論。
Sora也是如此，它可以基于幾個(gè)關(guān)鍵詞生成逼真的視頻，但這些視頻真的符合我們最初的預(yù)期嗎？并不一定。因此，我認(rèn)為使用大數(shù)據(jù)進(jìn)行手語識(shí)別仍然有一段路要走。
在我們的研究團(tuán)隊(duì)中，我們?cè)诘却占瘮?shù)據(jù)庫和標(biāo)注數(shù)據(jù)的同時(shí)，采取了一種方法：我們直接從YouTube上獲取那些已經(jīng)有手語翻譯的演講視頻，將演講內(nèi)容作為標(biāo)注，使用視頻中的小框內(nèi)的手語進(jìn)行識(shí)別，得到了不錯(cuò)的結(jié)果。但這些都是比較官方的內(nèi)容，涵蓋的范圍相對(duì)有限。另外，視頻中手語的質(zhì)量也非常有限。
不過，我認(rèn)為將來有了強(qiáng)大的計(jì)算力，可以將這類數(shù)據(jù)作為一種可行的備選大數(shù)據(jù)資源，利用現(xiàn)在的自主學(xué)習(xí)或無需標(biāo)注的學(xué)習(xí)技術(shù)，自動(dòng)剔除不準(zhǔn)確的部分，提取最關(guān)鍵的語義信息。
這樣，我們就能理解手語者在表達(dá)什么，這已經(jīng)足夠了。我們不需要精確地識(shí)別每一個(gè)詞。這是我們自己的一種嘗試和探索。
蘇劍波：目前我們通過這種方法實(shí)現(xiàn)目標(biāo)是完全可行的。但從技術(shù)的完備性角度來看，我個(gè)人并不特別喜歡所謂的標(biāo)注過程，因?yàn)槿魏螛?biāo)注都可能帶有標(biāo)注者個(gè)人的主觀意圖。
正如在人工智能領(lǐng)域，比如早期讓計(jì)算機(jī)學(xué)習(xí)下圍棋，最初是通過學(xué)習(xí)人類的棋譜來進(jìn)行的。但后來發(fā)現(xiàn)計(jì)算機(jī)無法判斷人類高手棋譜中的錯(cuò)招和漏招，因此后來改變了策略，讓計(jì)算機(jī)自我對(duì)弈。
現(xiàn)在，計(jì)算機(jī)只知道圍棋規(guī)則是由人類設(shè)定的，但它通過自我進(jìn)化來提高下棋技術(shù)，而不是通過學(xué)習(xí)人類的棋譜來達(dá)成目標(biāo)。計(jì)算機(jī)圍棋已經(jīng)通過這種方式達(dá)到了遠(yuǎn)超人類的水平，但它并非是通過學(xué)習(xí)人類智能的方式實(shí)現(xiàn)的。
這個(gè)案例對(duì)我來說是一個(gè)極具啟發(fā)性的思路，它表明機(jī)器智能的進(jìn)化和提升未必需要通過學(xué)習(xí)人類智能來實(shí)現(xiàn)。這是我的觀點(diǎn)。
田英利：然而，在最初階段，我們?nèi)匀恍枰祟惖臉?biāo)注，正如您提到的圍棋例子，它有一套完整的規(guī)則。
對(duì)于手語和語言，尤其是受到地域限制的情況下，規(guī)則越明確，計(jì)算機(jī)學(xué)習(xí)的效果就越好。
但當(dāng)規(guī)則不明確時(shí)，我們?cè)撛趺崔k？最初的時(shí)候，一定要有人來教它，告訴我們?nèi)绾芜M(jìn)行。
方昱春：算法應(yīng)該還是依賴了大量的棋譜數(shù)據(jù)，展現(xiàn)了記憶的巨大優(yōu)勢(shì)。
倪蘭：蘇老師，這個(gè)問題在語言學(xué)上有一個(gè)解釋。
根據(jù)喬姆斯基（當(dāng)代著名的語言學(xué)家和思想家）的理論，所有人類都有語言的潛質(zhì)和本能，但如果把一個(gè)孩子扔到森林里，不讓他接觸人類，他其實(shí)很難學(xué)習(xí)到語言，仍然需要激發(fā)，需要父母不斷地為他提供語言數(shù)據(jù)的刺激和糾錯(cuò)機(jī)制。
我們教孩子語言時(shí)，并不是只教他“a是b”這樣的句型，他就能照做。他會(huì)將規(guī)則用到極致，創(chuàng)造出我們從未教過的新句子。這其實(shí)和機(jī)器學(xué)習(xí)是一樣的，我們告訴它基本規(guī)則，然后它產(chǎn)生新的東西。當(dāng)然，人類的語言機(jī)制可能更復(fù)雜。
所以，我們目前對(duì)手語的構(gòu)造了解還不夠。很多時(shí)候，即使我自己的手勢(shì)并不標(biāo)準(zhǔn)，但有時(shí)候一個(gè)表情就能讓聾人立刻理解我想說什么。
我認(rèn)為，我們的視覺捕捉到的信息比我們通過有聲語言表達(dá)的信息要多得多。如果我們對(duì)手勢(shì)和身勢(shì)語有更深入的了解，一定能幫助我們更好地理解他人的意圖和言語含義。手語雖然源自身勢(shì)語，但它已經(jīng)發(fā)展出了一個(gè)相對(duì)完整的體系。
我們首先對(duì)身勢(shì)語了解不足，然后對(duì)發(fā)展出的手語的語法規(guī)則也沒有完全掌握，這就帶來了識(shí)別的復(fù)雜性。聾人在表達(dá)時(shí)，同時(shí)也會(huì)使用身勢(shì)語。我們可以做一個(gè)實(shí)驗(yàn)，觀察視頻中的人邊說話邊打手勢(shì)，當(dāng)把聲音關(guān)掉時(shí)，你完全不知道手勢(shì)代表的含義。聾人能將他們的身勢(shì)語和手語融合在起來進(jìn)行表達(dá)。因此在手語識(shí)別時(shí)，我們?nèi)绻荒軈^(qū)分身勢(shì)語和手語，就會(huì)覺得復(fù)雜，沒有規(guī)則。
手語是一種語言符號(hào)系統(tǒng)，它的表達(dá)有一定的限制性和語音規(guī)則。但因?yàn)樗珡?fù)雜，融合了很多多模態(tài)要素，包括表情體態(tài)等，而我們對(duì)表情的認(rèn)識(shí)和了解還遠(yuǎn)遠(yuǎn)不夠，這就是為什么手語識(shí)別起來異常很困難。
田英利：我覺得蘇老師提出的問題非常有趣，技術(shù)上如何解決？
倪老師談到的也確實(shí)如此，有時(shí)候我們的語言只占交流的30%，大部分時(shí)候，尤其是在家庭中，有時(shí)甚至不需要說話，一個(gè)眼神就足以傳達(dá)意圖。人的交流有多個(gè)渠道，我認(rèn)為不需要準(zhǔn)確地識(shí)別出每一個(gè)字、每一個(gè)細(xì)節(jié)才能進(jìn)行應(yīng)用。
所以，我們現(xiàn)在自然地過渡到了下一個(gè)討論議題，即盡管技術(shù)困難，包括特征提取的難度，但我們?nèi)绾慰朔@些困難，在現(xiàn)有的技術(shù)條件下盡可能地幫助聽障人士的生活？
問題四：從技術(shù)研究走向?qū)嶋H應(yīng)用，我們可能會(huì)遇到哪些現(xiàn)實(shí)困難？如何將手語識(shí)別技術(shù)更好地融入到聽障人士的日常生活中？
方昱春：從計(jì)算機(jī)應(yīng)用系統(tǒng)的角度來看，難點(diǎn)集中在“接口設(shè)計(jì)”上。
許多信息類產(chǎn)品，如果對(duì)使用者的約束太多，例如人臉識(shí)別時(shí)需要用戶配合特定的姿勢(shì)、光照條件和設(shè)備，那么用戶在受限的環(huán)境中使用，體驗(yàn)就會(huì)不佳，最終這項(xiàng)技術(shù)也可能被拋棄。為了讓聾人能更好地使用我們的技術(shù)，應(yīng)該提供一種更自然、更無感的體驗(yàn)，讓他們能方便地在更多公共場(chǎng)合中感知語言的表達(dá)。因此，我認(rèn)為一個(gè)適當(dāng)?shù)慕涌谑亲呦驅(qū)嶋H應(yīng)用中的一個(gè)典型問題。
還有其他一些問題我們?cè)谇懊娴挠懻撝幸呀?jīng)涉及過，比如手語的變化性很大，我們?nèi)绾螡M足用戶的個(gè)性化需求？這些都是需要解決的問題。
另外，我們也多次提到手語識(shí)別的難度很高，這會(huì)影響我們開發(fā)的技術(shù)的精度，這些情況都是存在的，這些因素都會(huì)影響到整個(gè)技術(shù)的實(shí)際落地和推廣。
倪蘭：去年我和方老師合作指導(dǎo)了一個(gè)關(guān)于應(yīng)急手語的學(xué)生科創(chuàng)項(xiàng)目。大家普遍認(rèn)為聾人群體在日常生活中會(huì)頻繁使用手語，但實(shí)際上，聾人群體是多元化的，也包括那些不會(huì)打手語的聽障人士，他們的手語熟練程度和教育水平也各不相同。他們對(duì)字幕和文本的理解能力也不盡相同，因此我們需要確定哪些場(chǎng)景最需要手語識(shí)別技術(shù)。
有時(shí)，我們?cè)谛侣勚锌吹降氖终Z翻譯可能并不總是被聾人理解，但它代表了一種對(duì)語言權(quán)益的尊重。
如果手語識(shí)別技術(shù)能夠發(fā)展到聾人在日常生活中都能方便使用，就像拿出手機(jī)發(fā)短信那樣簡(jiǎn)單，那將是一個(gè)巨大的進(jìn)步。之前vivo曾推出過手語識(shí)別和合成技術(shù)，聾人朋友嘗試使用后發(fā)現(xiàn)，輸入一句漢語可以逐字打出手勢(shì)，但如果要識(shí)別一個(gè)聾人打的手語句子，目前的技術(shù)水平還做不到。
在需求分析方面，我們可能需要深入了解聾人最迫切的需求場(chǎng)景，比如醫(yī)療領(lǐng)域，中老年聽障人士的需求尤其大，他們可能更依賴手語。與年輕人不同，他們可能不太熟悉語音轉(zhuǎn)文字的電子設(shè)備。在這種情況下，我們需要考慮手語數(shù)據(jù)應(yīng)該采集自哪些人群，以及把醫(yī)療術(shù)語翻譯成手語的挑戰(zhàn)，因?yàn)楹芏嘈g(shù)語可能在手語中并不存在，直接翻譯反而會(huì)造成誤解。
因此，我認(rèn)為可能需要將“語音識(shí)別”與“手語識(shí)別”結(jié)合起來使用，并且要考慮數(shù)據(jù)庫采集對(duì)象的多樣性。
另一個(gè)場(chǎng)景是教育領(lǐng)域，聾人也需要學(xué)習(xí)手語。在學(xué)習(xí)手語的過程中，提供標(biāo)準(zhǔn)化和規(guī)則化的內(nèi)容是很重要的。
例如，鄭州工程技術(shù)學(xué)院等院校在招收全國(guó)各地聾人學(xué)生時(shí)，會(huì)先培訓(xùn)他們共同使用一套手語，然后在四年的學(xué)習(xí)中不斷練習(xí)和使用。
在教育領(lǐng)域，我們需要考慮如何為聾人提供課程支持。目前，招收聾人的學(xué)校大多使用字幕機(jī)，但我們需要更深入了解聾人在哪些場(chǎng)合需要這些產(chǎn)品，并考慮在窗口、銀行等公共服務(wù)場(chǎng)所的應(yīng)用。我認(rèn)為手語識(shí)別產(chǎn)品可能需要結(jié)合多元化的模式，如果只依賴單一的手語識(shí)別，可能會(huì)在某些場(chǎng)合受到限制，因?yàn)榍闆r特別復(fù)雜，尤其是在中國(guó)這樣地域廣闊的國(guó)家。手語有很多地域分支，統(tǒng)一的標(biāo)準(zhǔn)可能無法滿足所有聾人的需求。
蘇劍波：我這邊的工作主要是關(guān)于機(jī)器識(shí)別聾人的手勢(shì)，并將其翻譯給健聽人，以便在各種環(huán)境中，如服務(wù)窗口、教育場(chǎng)所或醫(yī)療場(chǎng)所，促進(jìn)聾人與健聽人之間的交流。
但我一直不太確定，應(yīng)該使用什么樣的工具來實(shí)現(xiàn)這一點(diǎn)。
比如，是否讓健聽人手持iPad，實(shí)時(shí)拍攝聾人的手勢(shì)，然后屏幕上就能顯示出他們所說的內(nèi)容？
這種方式有助于促進(jìn)雙方的交流。然而，在實(shí)際應(yīng)用中，聾人往往不愿意被拍攝。即便解釋說拍攝的目的是為了翻譯他們的手勢(shì)，他們通常也不愿意接受。除非在迫不得已的情況下，比如在政府部門或醫(yī)院需要辦事時(shí)，他們才會(huì)勉強(qiáng)接受這種方式的翻譯。但在正常情況下，比如在馬路上交流，如果用設(shè)備拍攝他們，他們肯定會(huì)反感。
我一直在思考，這種技術(shù)究竟應(yīng)該如何轉(zhuǎn)化為實(shí)際應(yīng)用？甚至連最基本的工具使用方式都沒搞清楚。我們通常習(xí)慣于使用手機(jī)，比如不認(rèn)識(shí)的花，就用百度拍一下識(shí)別，這是我們?nèi)粘Ｉ钪谐Ｓ玫墓ぞ摺?/p>
但與聾人交流時(shí)，我們不能總是帶著iPad，或者讓他們?cè)趇Pad顯示下進(jìn)行手勢(shì)，然后翻譯出來。我不知道該如何應(yīng)對(duì)這種情況。
倪老師提到，在特定領(lǐng)域，如醫(yī)療和教育，可能不得不使用某些工具來幫助理解他們的意圖。但如果要設(shè)計(jì)一個(gè)適合聾人使用的產(chǎn)品，或者一個(gè)可以隨身攜帶的設(shè)備，讓他們?cè)谛枰c正常人交流時(shí)，能夠?qū)崟r(shí)顯示他們的意圖，那將是非常有益的。
但這樣的產(chǎn)品是什么呢？我還不太清楚。就像手機(jī)那樣，但具體該如何操作呢？是通過拍攝手勢(shì)，然后在手機(jī)屏幕上直接表達(dá)他們的意圖，還是通過語音說出來？我還在探索這方面的解決方案。
田英利：針對(duì)蘇老師的問題，我認(rèn)為我們的討論非常有益。從技術(shù)到產(chǎn)品的落地，確實(shí)還有許多困難需要克服，路還很長(zhǎng)。
關(guān)于應(yīng)該開發(fā)什么樣的產(chǎn)品，近年來VR和AR技術(shù)被頻繁提及。我們需要一種自然的產(chǎn)品，而不是讓人們感覺像是扛著攝像機(jī)或iPad來錄制。
想象一下，如果聾人可以戴上一種眼鏡，這種眼鏡內(nèi)置有針孔攝像頭，能夠捕捉他們自己的手勢(shì)，并將這些手勢(shì)直接翻譯成語音。
當(dāng)我知道他們的意思后，我就可以回答他們。這種眼鏡當(dāng)然也會(huì)有麥克風(fēng)，能夠捕捉我的語音，這時(shí)就不需要手語，而是直接將我的語音轉(zhuǎn)化成文字，顯示在他們的AR眼鏡上。
這樣一來，我們就能理解蘇老師所講的情況，即不僅僅是通過攝像頭來識(shí)別手語，而是將語音、文字和部分肢體語言這些多渠道信息綜合起來，幫助我們進(jìn)行溝通交流。我們不需要成為他們的“靈魂伴侶”，只需要大致理解他們的意圖，這對(duì)他們的生活就已經(jīng)是很大的幫助了。
此外，蘇老師提到了一個(gè)非常重要的問題，即關(guān)于拍攝的隱私問題。在攝像頭無處不在的今天，我們?nèi)绾卧诒Ｗo(hù)隱私和技術(shù)發(fā)展之間找到平衡？
問題五：在開發(fā)和部署手語識(shí)別系統(tǒng)時(shí)，如何確保聽障人士的隱私得到保護(hù)？我們?nèi)绾卧诩夹g(shù)創(chuàng)新與倫理道德之間找到平衡？
倪蘭：這確實(shí)是我們?cè)跇?gòu)建數(shù)據(jù)庫時(shí)一直面臨的困擾。起初，我并沒有強(qiáng)烈的隱私保護(hù)或知識(shí)產(chǎn)權(quán)意識(shí)，是方老師向我強(qiáng)調(diào)了在計(jì)算機(jī)領(lǐng)域中數(shù)據(jù)保護(hù)的重要性，我才開始重視這個(gè)問題。
我們采集了大量的數(shù)據(jù)，但在采集過程中，我們都會(huì)與聾人被調(diào)查者簽訂協(xié)議，確保他們的隱私受到保護(hù)。因此，在數(shù)據(jù)的公開使用上，我們非常謹(jǐn)慎，會(huì)明確詢問數(shù)據(jù)的使用目的。
有時(shí)，一些企業(yè)會(huì)委托進(jìn)行數(shù)據(jù)采集工作，我們也會(huì)非常小心，擔(dān)心數(shù)據(jù)被用于其他目的。
文本數(shù)據(jù)的情況不同，因?yàn)镃hatGPT所使用的大部分文本數(shù)據(jù)都是公開發(fā)表的，如新聞報(bào)道、出版的書籍或?qū)W術(shù)論文等。但手語數(shù)據(jù)無法屏蔽肖像，即使是在臉部任何部位打上馬賽克，都會(huì)導(dǎo)致語義信息損失。眼睛是表情中最重要的部分，我們經(jīng)常說它們是心靈的窗戶，眼睛的睜大、閉合，甚至眼神都包含了豐富的信息。如果在處理數(shù)據(jù)時(shí)屏蔽了這些信息，就無法進(jìn)行有效的識(shí)別。
因此，我們目前的做法是--有限度的授權(quán)使用。
我們確實(shí)意識(shí)到，如果不發(fā)布數(shù)據(jù)，它們就無法得到廣泛應(yīng)用，但一旦發(fā)布，又如何保護(hù)這些信息呢？
因此，對(duì)于表示不愿讓自己的信息被發(fā)布的聾人，我們都會(huì)做出承諾。保留了原始數(shù)據(jù)，但僅在不公開的情況下，用于我們自己的研究和觀察。
蘇劍波：關(guān)于隱私保護(hù)的問題，我并沒有一個(gè)特別好的答案。但在這個(gè)過程中，我一直在向遇到的人們解釋，在公共場(chǎng)合，無論你是殘障人士還是健聽人，大家都是沒有隱私的。
當(dāng)然，如果有人惡意使用你的肖像或生理特征，那就是另一回事了。這種情況下，應(yīng)該從法律角度對(duì)濫用者進(jìn)行懲罰。
實(shí)際上，任何人只要不在自己家里，在外面就都沒有隱私。所以，隱私該如何保護(hù)？如何進(jìn)行過濾？
包括馬賽克等手段，現(xiàn)在都可以用人工智能算法恢復(fù)成正常狀態(tài)，這些技術(shù)已經(jīng)沒有什么秘密可言。在這個(gè)問題上，確實(shí)很難做到完全的過濾。當(dāng)然，倪老師剛才提到的也很對(duì)，我們需要尊重使用者的個(gè)人意愿。
我會(huì)告訴他們，我會(huì)如何使用他們的生理圖像，如果他們同意，我就使用；如果不同意，我就不使用。
但實(shí)際上，我也不斷向他們解釋，在公共場(chǎng)合下，你的圖像很容易被別人使用。所以，讓他們逐漸了解現(xiàn)代科技已經(jīng)發(fā)展到何種程度。通過我?guī)状谓忉尯?，他們也能理解了。我?huì)給他們看各種各樣的視頻，讓他們明白公共場(chǎng)合下的監(jiān)控是多么普遍。
但如果有人惡意使用他們的信息，他們完全可以起訴對(duì)方，我也會(huì)提供幫助。這樣，他們就能理解這個(gè)問題了。目前沒有特別好的辦法，每個(gè)人都有自己的權(quán)利，不容侵犯。
方昱春：盡管在公共場(chǎng)合，我們的部分隱私確實(shí)容易泄露，但從管理的角度來看，我們?nèi)匀恍枰⑼晟频闹贫葋磉M(jìn)行倫理審查。
例如，針對(duì)手語識(shí)別項(xiàng)目，我們可以邀請(qǐng)專家和聾人代表共同制定符合道德倫理要求的規(guī)則。
在數(shù)據(jù)采集過程中，就像我和倪老師在制作數(shù)據(jù)集時(shí)所做的那樣，我們需要向聾人透明地說明為何收集這些數(shù)據(jù)，以及我們將如何使用這些數(shù)據(jù)，并征得他們的同意。這本身就是一種保護(hù)措施。
在數(shù)據(jù)管理上，我們也應(yīng)該制度化，盡量尊重并保護(hù)數(shù)據(jù)，防止泄露。尤其是在涉及商業(yè)運(yùn)作時(shí)，我們需要特別注意，因?yàn)椴划?dāng)處理可能會(huì)讓人感到被侵犯。如果能通過預(yù)防來保護(hù)隱私，那么從使用者的角度來看，他們會(huì)更加滿意。
在部署手語識(shí)別系統(tǒng)時(shí)，我們應(yīng)該避免收部署那些與個(gè)人相關(guān)的信息。對(duì)于這部分?jǐn)?shù)據(jù)，我們可以進(jìn)行加密，并在傳輸和存儲(chǔ)過程中將安全性放在重要位置。我們需要仔細(xì)考慮哪些數(shù)據(jù)應(yīng)該上傳到云端，哪些不應(yīng)該。
隱私保護(hù)也是我們領(lǐng)域的一個(gè)重要研究方向。我自己也在研究面部隱私保護(hù)技術(shù)，目前我們稱之為“Face DeID”。早期DeID會(huì)對(duì)面部打馬賽克或添加噪音作為保護(hù)方法，但這樣就無法保留手語的語言學(xué)特征。現(xiàn)在，我們可以使用AIGC等技術(shù)，在保留手語語言學(xué)特征的同時(shí)，保護(hù)個(gè)人身份信息。
我認(rèn)為我們的技術(shù)有可能實(shí)現(xiàn)一個(gè)較好的平衡：我們可以利用數(shù)據(jù)，但同時(shí)也能確保使用的數(shù)據(jù)是安全的。如果我們考慮全面，制度合理，在技術(shù)進(jìn)步同時(shí)也捍衛(wèi)倫理道德。
田英利：我認(rèn)為各位老師的討論非常精彩，特別是在手語識(shí)別方面，因?yàn)槲覀冃枰娌勘砬?、手?shì)以及身體動(dòng)作的配合。所以，如果簡(jiǎn)單地對(duì)視頻打馬賽克或其他處理，其他人可能就無法使用這些數(shù)據(jù)了。正如方老師所提到的，信息保護(hù)在這一領(lǐng)域中極為重要。
我在IBM工作時(shí)，我們組參與過指紋識(shí)別項(xiàng)目。指紋是唯一的，一旦丟失，就無法再用于銀行密碼等。但我們的同事提出了一種可撤銷的生物特征識(shí)別方法。這啟發(fā)我思考，未來我們或許可以對(duì)手臉進(jìn)行某種變換，既保留了對(duì)計(jì)算機(jī)視覺有用的信息，又不泄露個(gè)人的重要信息，這是一個(gè)值得探索的方向。
1，用多模態(tài)大模型來做識(shí)別手語會(huì)不會(huì)更好？
田英利：關(guān)于使用多模態(tài)大型模型進(jìn)行手語識(shí)別的問題，我的回答是肯定的。當(dāng)然，采用多模態(tài)的方法肯定會(huì)帶來更好的識(shí)別效果。目前，研究和開發(fā)的趨勢(shì)正是朝著這個(gè)方向發(fā)展。因此，簡(jiǎn)單來說，使用多模態(tài)大型模型進(jìn)行手語識(shí)別是一個(gè)明確且必要的前進(jìn)方向。
2.有團(tuán)隊(duì)正在考慮如何建立一個(gè)類似于“手語-GPT”的基礎(chǔ)模型，能兼容全球各地的手語。那么，手語語法和方言是難題嗎？還是說，只要數(shù)據(jù)充足就能完成“暴力美學(xué)”？
方昱春：這個(gè)問題讓我想起了我國(guó)著名的語言學(xué)家趙元任，他是一位能夠在極短的時(shí)間內(nèi)學(xué)會(huì)不同地方方言和多國(guó)語言的超級(jí)語言學(xué)家。
他掌握和使用語言的速度非常快，是人類智能的一個(gè)杰出代表。雖然這樣的例子可能非常罕見，但如果我們的人類能夠具備這樣的能力，對(duì)多種方言和語言具有極高的適應(yīng)性，那么我們也許能夠讓一個(gè)“手語GPT”模型也具備這種多方言的適配能力。
因?yàn)楸M管語言千變?nèi)f化，但每種語言都有其共性，不是完全無法互相學(xué)習(xí)的。因此，我認(rèn)為這是一個(gè)值得探索的有益想法。
倪蘭：語言學(xué)的終極目標(biāo)是探索人類語言的普遍性原理。包括美國(guó)語言學(xué)家喬姆斯基在內(nèi)，許多學(xué)者都在尋找方案，希望用一套規(guī)則來解釋人類語言的共性，語言的核心在于形式如何表達(dá)意義，我們希望找到語言形式的共同規(guī)則，以及與意義的匹配方式。
比如，所有的語言都包含否定和疑問的表達(dá)，盡管表現(xiàn)形式各異；又比如每種語言中能夠表達(dá)意義的語音數(shù)量是有限的。但我們尚未找到一套完美的規(guī)則來解釋所有人類語言，這是因?yàn)槲覀儗?duì)語言的理解還不夠深入。
有時(shí)看國(guó)外的聾人電影或電視劇，我發(fā)現(xiàn)不同國(guó)家的手語之間存在一定的相似性。
例如，我們會(huì)看到日本手語與中國(guó)手語有很多相同的手勢(shì)，這表明手語的前身——身勢(shì)語——在人類中有著共通之處。如大多數(shù)人通過搖頭表示否定，盡管也有的文化中使用仰頭來表示否定。
我相信，手語之間的可懂度可能比有聲語言高。
有研究表明，使用不同手語的人之間的可懂度，高于使用不同有聲語言的人。周文罡教授也曾提到，他們使用美國(guó)手語、德國(guó)手語等其他國(guó)家的手語數(shù)據(jù)集來訓(xùn)練，這表明其中存在一些共通的元素。
我們目前對(duì)手語的語音分析都基于美國(guó)學(xué)者William .Stokoe對(duì)手語的手形、位置和運(yùn)動(dòng)的切分，以及后來加入的方向和表情體態(tài)分析。這些基本特征分析在每一種手語中都具有價(jià)值。因此，如果我們能夠構(gòu)建這樣一個(gè)模型，并將這些特征導(dǎo)入手語的分析標(biāo)注中，我們一定能發(fā)現(xiàn)許多人類語言共通的東西。
蘇劍波：我的想法可能相對(duì)簡(jiǎn)單，但我認(rèn)為這里有一個(gè)值得探討的小方向。我們知道人類有多種不同的語言表達(dá)方式，包括口語、手語、肢體語言，以及各種方言等，這些都是非常個(gè)性化的表達(dá)形式。我在思考，是否有可能通過識(shí)別個(gè)體的腦波來取代對(duì)語言的感知和手語的識(shí)別？這是否是一個(gè)可行的方向？
因?yàn)槟X波的感知更加個(gè)性化，這可能會(huì)為我們提供一個(gè)全新的交流方式。我提出這個(gè)問題，希望能與大家一起探討這個(gè)可能性。
田英利：馬斯克的Neuralink項(xiàng)目就在探索人腦與計(jì)算機(jī)接口的可能性。他們最近似乎也取得了一些進(jìn)展，這可能是最直接的方式來實(shí)現(xiàn)人腦與機(jī)器的交流。
至于“手語GPT”，從技術(shù)角度看，如果我們能夠獲取全球范圍內(nèi)的大規(guī)模數(shù)據(jù)，我認(rèn)為是有可能的。就像現(xiàn)在不同語言之間的翻譯，曾經(jīng)被認(rèn)為是一項(xiàng)艱巨的任務(wù)，但現(xiàn)在ChatGPT可以輕松地在英文和中文之間切換，沒有任何問題。
但從實(shí)施的角度來看，我認(rèn)為還存在一些困難。畢竟，聾人群體相對(duì)較小，當(dāng)需要大量的計(jì)算資源和技術(shù)支持時(shí)，是否有政府或產(chǎn)業(yè)愿意投入巨大的財(cái)力和數(shù)據(jù)來服務(wù)這樣一個(gè)相對(duì)較小的受眾群體？
他們需要考慮實(shí)際的投資回報(bào)，如果投入巨大但收益有限，甚至可能不賺錢，只有少數(shù)人受益，他們是否愿意這樣做？
因此，我認(rèn)為對(duì)于手語識(shí)別或幫助殘障人群的項(xiàng)目，需要政府的政策支持和資助，以及不同產(chǎn)業(yè)的協(xié)助。但這些項(xiàng)目能盈利多少，我持保留態(tài)度。
此外，殘障人士本身對(duì)高科技的接受程度可能有限，加之全球老齡化問題，一些老年人可能存在聽力或視力損失。讓他們使用電話或平板電腦可能更加困難。我們?nèi)绾巫屵@些弱勢(shì)群體享受到科技的紅利，需要政府的大力推廣和支持，單靠個(gè)人力量是難以實(shí)現(xiàn)的。
不知不覺，我們已經(jīng)討論了兩個(gè)小時(shí)，非常感謝大家的分享。由于時(shí)間關(guān)系，我們今天的論壇討論就要告一段落了。非常感謝大家，感謝雷峰網(wǎng)為我們提供了這樣一個(gè)交流思想、碰撞智慧的平臺(tái)。
希望在未來的論壇中，能有更多有需求的人士加入我們的討論。
也希望我們的技術(shù)能夠在不久的將來，真正應(yīng)用到他們的日常生活中。
本文作者吳彤，關(guān)注AI for Science，歡迎添加微信（icedaguniang），交流認(rèn)知，互通有無。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
