徐迎慶：這7年我們?nèi)绾巫龀鲆豢钭屆と俗哌M(jìn)互聯(lián)網(wǎng)的產(chǎn)品 | 微軟亞洲研究院院友會

11月14日下午，微軟亞洲研究院在自己的18歲生日之際邀請到眾多前微軟研究院的成員，現(xiàn)清華大學(xué)教授徐迎慶分享了《針對視覺受損人群的觸覺認(rèn)知研究》主題演講，講述了過去7年中他和他的團(tuán)隊在觸覺研究上的感悟與成果。本文根據(jù)徐迎慶的演技整理而成，在不影響愿意的情況下略作刪減。

徐迎慶，清華大學(xué)信息藝術(shù)設(shè)計系主任、清華大學(xué)終身學(xué)習(xí)實驗室主任、清華大學(xué)無障礙發(fā)展研究院副院長，1999年至2011年期間曾就職于微軟亞洲研究院。

這個項目在微軟期間就開始了，大概做了7年。我想做的是針對視覺受損人群的觸覺研究。

從WHO（World Health Organization）的數(shù)字來看，全球有2.85億人是視覺嚴(yán)重受損，這個數(shù)字是可怕的。我們曾經(jīng)在盲人學(xué)?？吹剑瑢W(xué)們雖然視力嚴(yán)重受損，但是有的同學(xué)每天把頭貼在屏幕上，渴望著與外界的溝通。記得幾年前我們開始這個項目的時候，有一個研究生去了盲人學(xué)?；貋碇蟾袆拥脽釡I盈眶，她說這些孩子特別了不起，一定要做一點事情為他們。

從那時起，清華大學(xué)魯曉波教授、史元春教授、和我本人就共同發(fā)起了這個項目至今。我們希望通過觸覺和觸覺交互的設(shè)計，結(jié)合語音等多通道的沉浸認(rèn)知讓盲人通過觸摸學(xué)習(xí)更豐富的知識，比如復(fù)雜的圖形圖像的理解。目前國際上這是一個前沿的研究熱點。針對盲人的交互研究有很多的工作已經(jīng)做了，比如可穿戴移動互聯(lián)網(wǎng)輔助設(shè)備、智能導(dǎo)航盲杖、盲人手表、移動PDA等等，包括各種各樣的語音識別軟件。這里順便說一下，如果你們看過盲人用語音聊天，你會感覺非常驚訝，我們現(xiàn)在的語速加速3倍、5倍以后是他們語音的聊天，他們能聽得懂，我們跟不上。觸覺圖像的大幅面、高精度研究，美國、歐洲很多實驗室都做過嘗試。在多通道方面，我們過去幾年一直在開展這個工作。

什么是觸覺圖像？

觸覺圖像就是通過實體表面的凸凹理解圖像，為用戶提供直接的觸覺體驗，可以觸覺渲染，也可以視覺渲染。另外制作出這些圖像有很多種方法，比如熱塑、微囊紙、熱敏紙、觸點打印等等，這些設(shè)備相對來說制作起來不方便，而且相對沒有那么多，還有點貴。同時帶來一個問題，打了很多紙，紙很厚，有凸凹點，不容易存放和運輸，而且只能顯示靜態(tài)的東西。

大家知道互聯(lián)網(wǎng)的發(fā)展，在互聯(lián)網(wǎng)上除了文字更多的是圖形、圖像、視頻，這樣發(fā)展的趨勢把盲人朋友放在了互聯(lián)網(wǎng)之外，他們?nèi)绻麤]有一個好的工具，就更沒有辦法理解這個東西，這是一個非常大的挑戰(zhàn)。盡管現(xiàn)在有盲人圖書、盲人打字機甚至盲人點顯器，但是怎么幫助他們學(xué)習(xí)圖形圖像抽象的東西，以及獲取互聯(lián)網(wǎng)的信息，這不僅是挑戰(zhàn)，而是全人類面臨的義務(wù)和責(zé)任。

觸覺圖像顯示器市場上大尺寸非常貴，而且大尺寸也不是大家想象的那么大，這個就是比較大的了。太小的尺寸，由于分辨率的問題認(rèn)知效果就大打折扣。即便這樣一個小的現(xiàn)在提高價格差不多5.5萬歐元，將近40萬人民幣左右。

針對這樣的問題，我們從幾方面下手。首先是沉浸認(rèn)識，要做觸覺的東西，從認(rèn)知的角度，什么是他們能夠接受，他們習(xí)慣的以及他們能夠真正通過觸覺來理解的圖像。另一方面僅僅是觸覺，大家知道盲人的聽覺也非常的發(fā)達(dá)，從聽覺的角度來說，觸覺和聽覺的多通道怎么融合，開發(fā)多通道的沉浸的體驗，同時我們希望能夠開發(fā)一款相對低成本的觸覺圖像顯示器。

問題有哪些？

比如如何提高盲人圖形圖像的認(rèn)知和交互體驗，如何設(shè)計觸覺圖形。如果把普通的圖像簡單地提取一個邊緣的話，從觸覺人質(zhì)的角度來看是很難理解的，必須有一套相對來說經(jīng)過改進(jìn)的圖像便于觸覺理解。如何設(shè)計既有高精度、大幅面又低成本的圖像顯示器，以及在更多的場景下如何融入觸聽覺沉浸式信息的獲取。

我們非常幸運有很多的合作伙伴，例如：北京盲人學(xué)校、北京聯(lián)合大學(xué)特殊教育學(xué)院，我們和這些專家們探討如何探索圖形庫的內(nèi)容的框架。

中國盲校的教學(xué)材料

這是盲文，中國的盲人是基于漢語拼音的。而且還不僅僅是文字，很多盲人音樂家非常厲害，這是他們學(xué)習(xí)音樂課的基本樂符。而學(xué)習(xí)物理課的公式和一些圖形表達(dá)，物理化學(xué)課的內(nèi)容，怎么通過這樣一些圖形來讓他們上課。包括化學(xué)分子式，他們用的紙都是這樣，小時候總是捐畫報紙，當(dāng)時不理解，后來才知道這是盲人同學(xué)用它扎字、做記錄，我們的同學(xué)也自己去學(xué)習(xí)如何用盲文記錄，這是非常有意義的體驗過程。

用戶體驗研究

我們?yōu)闇y試做了很多的圖形準(zhǔn)備，這些是從標(biāo)準(zhǔn)的圖形庫中拿出來的，然后進(jìn)行很多篩選和用戶訪談，包括來主動、被動的使得圖形能夠更加有效的被識別。這個過程中我們發(fā)現(xiàn)了很多與我們的假設(shè)完全不一樣的事情，比如我們一直認(rèn)為一個后天的盲人和先天的盲人同樣接觸識別一組圖形的時候，應(yīng)該是后天的識別的更好，因為他有過經(jīng)驗。但我們的實驗表明，先天的盲人表現(xiàn)更好。后來才發(fā)現(xiàn)，這些后天盲人的先天經(jīng)驗干擾了他們對正確結(jié)果的判斷，這些是完全和我們的想象不一樣的。還有一個問題是，發(fā)生在什么時候。我們每周都在做用戶體驗的設(shè)計，包括主動和被動的。和他們一起討論，什么樣的圖形是合適的，怎么提取這里面的關(guān)鍵內(nèi)容。

同樣我們也提出了一套觸聽覺多通道的交互模型，希望能夠從認(rèn)知能力上，不同的通道能夠占用不同的腦力資源，能夠從交互界面上觸覺和聽覺的信息分別占據(jù)不同的傳輸空間，使得干擾最小、融合最大。這個項目本身也是多學(xué)科的融合，除了我，還有清華大學(xué)美術(shù)院系魯曉波教授、計算機系史元春教授，清華醫(yī)學(xué)院的洪波教授，還有中科院心理所的劉燁研究員、以及我們的研究生焦陽、龔江濤等等。

通過大家的努力，我們得到非常有意思的數(shù)據(jù)。我們能夠看到聽覺區(qū)域兩個方面都是差不多的，而在大腦的結(jié)構(gòu)上盲人的視覺區(qū)域小于明眼人的視覺區(qū)域。盲人觸摸東西非?？?，那個速度讓我們驚呆了。但是通過腦核磁腦的成像，盲人與明眼人手部運動在腦的成像是差不多的，這個讓我們體會到其實我們閉上眼睛經(jīng)過一但時間訓(xùn)練也可以達(dá)到，有些東西是由后天訓(xùn)練確定的。所以當(dāng)時的一些假設(shè)，比如盲人的視覺區(qū)域比正常人小，fmRI結(jié)果支持了第一個假設(shè)，但是我們覺得盲人的手的運動區(qū)域要大，但是在實驗中沒有支持這個假設(shè)。這是多學(xué)科交叉和融合的工作。    

Graille

我們對這樣的一個設(shè)備做了功能的設(shè)計，比如我們希望它有這樣的一些功能，能夠支持、學(xué)習(xí)、社交、分享。我們提出的技術(shù)指標(biāo)，渲染幅面大于120×60點，現(xiàn)在有7200點，如何在這么小的空間上控制7200點，能夠真正實時的顯示出來，這并不是簡單的事情。這個工作為什么這么困難做了這么多年。這么小的結(jié)構(gòu)，直徑1毫米，這樣的結(jié)構(gòu)上，我們在這上面設(shè)計了幾套機械聯(lián)動裝置。    

再談一下產(chǎn)業(yè)化的東西，首先如為盲人朋友提供更好的服務(wù)是各國政府關(guān)心的問題。中國政府也非常關(guān)注這個事情，我們也拿到了國家的重大專項的支持，同時聯(lián)合國兒童基金會，中國殘疾人協(xié)會等也一直關(guān)心相關(guān)的研究。我們也在和百度合作，這個項目如果做出來原型，我們會和百度做盲人搜索平臺，盲人用這樣的設(shè)備來搜索、購物，做力所能及的事情。剛開始可能不能什么都做，但是萬水千山第一步總是要邁出去。

進(jìn)一步的研究

除了給盲人用以外，我們在計算機視覺上也提出了一些新的挑戰(zhàn)。比如什么是圖像語義特征，什么是觸覺圖像的語義特征，如何提取這種圖像。例如，簡單的閾值計算或者提取邊緣并不能夠使得盲人能夠理解這樣的圖像，只有真的有語義的、精煉的表達(dá)出來才有可能對圖像壓縮、編碼、傳輸真正起到幫助作用。借這個機會，我也特別感謝微軟研究院曾經(jīng)給過很大的支持，現(xiàn)在一直也在關(guān)注和關(guān)心這個項目。同時，也有很多單位給了這個項目很大的支持和贊助，比如微軟亞洲研究院、Intel中國研究院、百度公司、國家自然科學(xué)基金、國家重大專項研究計劃、北京盲人學(xué)校、北京聯(lián)合大學(xué)特殊教育專業(yè)、中科院軟件所、中科院心理所、聯(lián)合國兒童基金會、清華大學(xué)美術(shù)學(xué)院、計算機系、醫(yī)學(xué)院、心理學(xué)系等等。衷心感謝團(tuán)隊中的每一位成員的努力！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。