<mark id="oztn4"></mark>
1
| 本文作者： 李尊 | 2016-07-06 14:13 |
聯(lián)合編譯：Blake、陳圳、章敏
摘要
本文提出了一個可以生成針對圖片中特定目標(biāo)或區(qū)域明確描述（指代表達(dá)）的方法，這個方法也能理解或解釋這一指代表達(dá)，進(jìn)而推斷出正確的被描述的目標(biāo)。以前的方法并沒有將情景中的其他潛在模糊目標(biāo)考慮在內(nèi)，本文展示了我們所提出的辦法比以前的生成目標(biāo)描述方法要優(yōu)秀。我們模型靈感源自近期深度學(xué)習(xí)在圖像標(biāo)注問題上的成功，雖然很難對圖片標(biāo)注進(jìn)行評估，但是我們的任務(wù)能夠做到輕松實現(xiàn)目標(biāo)評估。我們也提出了基于MSCOCO的一個新的用于指代表達(dá)的大規(guī)模數(shù)據(jù)集。這個數(shù)據(jù)集和工具集可以用于可視化和評估，我們將它發(fā)布在github上，詳見：https://github.com/mjhucla/Google_Refexp_toolbox。
引言
近來，許多人對生成圖片文本描述的研究十分感興趣。然而，這種圖片標(biāo)注問題既主觀也不適定。因為有這么多有效的方法來描述任一給定圖片，所以也很難對自動標(biāo)注方法進(jìn)行評估。特別是，我們?nèi)绾文芘卸ㄒ粡垐D片的描述優(yōu)于另一個描述？
在這篇論文中，我們集中討論了一個為給定圖片生成本文的特別案例，其目標(biāo)是生成明確的文本描述。這個描述能被精確地應(yīng)用到圖片中的某個目標(biāo)或區(qū)域，這樣一種描述就是所謂的「指代表達(dá)」。這一方法明顯優(yōu)于通用圖片標(biāo)注，因為它有一個定義良好的表現(xiàn)指標(biāo)：如果獨特描述出文本中相關(guān)目標(biāo)或區(qū)域，聽者能夠理解這個描述并能指出其所描述的那個目標(biāo)，這就是一個好的指代表達(dá)。另外，由于任務(wù)性質(zhì)本身是有區(qū)別的。因此，較之圖片標(biāo)注，指代表達(dá)趨于更加細(xì)節(jié)化。最后，與整張圖片比較的話，它更容易搜集訓(xùn)練數(shù)據(jù)以“覆蓋”針對給定目標(biāo)的合理指代表達(dá)空間。
我們考慮到了兩個問題：（1）描述生成，我們必須生成可以獨特指出圖片中的重要目標(biāo)和區(qū)域的文本表達(dá)。（2）描述理解，根據(jù)一個給定的描述這個目標(biāo)的文本表達(dá)，找出這個目標(biāo)。文獻(xiàn)中提到的之前的研究工作幾乎完全專注于描述生成，詳細(xì)對比見圖1：
圖1
在這篇論文中，我們使用了時下最先進(jìn)的深度學(xué)習(xí)方法來處理真實圖像和文本問題。特別是我們在最近開發(fā)出的方法上建立了我們的模型，這些方法將卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)合起來。我們證實，我們的模型表現(xiàn)高于沒有考慮到聽者必須理解的情況下生成的指代表達(dá)的基準(zhǔn)模型。我們也證明通過自動生成對圖片區(qū)域的描述，可以使用半監(jiān)督方式訓(xùn)練我們的模型。
在很多使用自然語言界面的應(yīng)用中，比如控制一臺機(jī)器人（如“Rosie，把那瓶啤酒從冰箱頂層給我拿過來。”），或者與圖像編輯軟件互動（如“Picasa，將柵欄后的第三輛汽車換成一輛摩托車。”），能夠生成并了解目標(biāo)描述很關(guān)鍵。另外，對于從事視覺和系統(tǒng)領(lǐng)域的研究工作來說，這也是一個很好的測試臺，因為它有一個有用的客觀表現(xiàn)評價尺度。
為了訓(xùn)練和評估這個系統(tǒng)，我們搜集數(shù)據(jù)并發(fā)布了一個新的基于流行 MS-COCO 數(shù)據(jù)組的大型指代表達(dá)數(shù)據(jù)組。
總結(jié)起來，我們的主要貢獻(xiàn)如下。首先，我們提出了一個新的用于指代表達(dá)的大規(guī)模數(shù)據(jù)組。第二，我們評估了現(xiàn)有圖片標(biāo)注方法在指代表達(dá)任務(wù)上的表現(xiàn)情況。第三，我們研究出了一個結(jié)合生成和理解的新方法，這個方法比現(xiàn)有方法更好。
2.相關(guān)工作
指代表達(dá)
指代表達(dá)生成是一個典型的神經(jīng)語言問題。重點主要在于理解人們一般使用哪一類詞匯來描述視覺物體（色彩或者大小）、高階關(guān)系的使用、過于描述和描述不足現(xiàn)象等。
環(huán)境在很多方面都扮演者一個相當(dāng)重要的角色。首先，說話者必須將目標(biāo)對象和一系列的替代者區(qū)分開來，另外必須提供為什么這樣區(qū)分的理由。第二，聽者的預(yù)判也是可預(yù)估的。
在這個問題上，此前的作者基本上都聚焦在如計算機(jī)生成對象（微小對象的圖像）等小型數(shù)據(jù)集上，而且沒有將他們的文本生成系統(tǒng)和真實的視覺系統(tǒng)結(jié)合起來。然而最近這種情況開始有改變，已經(jīng)開始有人注意指代表達(dá)和復(fù)雜的真實世界圖像聯(lián)系的問題。Kazamzadeh等人是第一批收集大規(guī)模復(fù)雜現(xiàn)實世界圖像指代表達(dá)的人。
我們也同樣收集并評估了一個大規(guī)模數(shù)據(jù)集。然而我們超越了表述生成，學(xué)會了生成和理解模型。我們的深度學(xué)習(xí)模型能夠?qū)υ紙D像直接生成表面表述，不用再把原始圖片轉(zhuǎn)換成正式的對象表達(dá)。
于此同時，參考文獻(xiàn)[24]中R.Hu等人提出一個與我們的基準(zhǔn)模型接近的基于CNN-RNN方法，它實現(xiàn)了在ReferIt數(shù)據(jù)集上近期以來的最佳結(jié)果。但是他們沒有使用我們的完整模型中的判斷訓(xùn)練技巧。
圖像標(biāo)識
我們的方法靈感來自于一系列的圖像和文本模型，主要是在視覺和學(xué)習(xí)領(lǐng)域中的。從模型角度來看的話，我們的方法是最接近將RNNs和CNNs應(yīng)用到這類問題的。近期的文章主要是利用CNN的隱藏活動性來表達(dá)圖像內(nèi)容，然后這個輸入到RNN中，最后生成一系列的文字。
大多數(shù)有關(guān)圖像標(biāo)識的論文都聚焦在描述圖像全局，而沒有任何的空間定位。然而，我們注意到兩個特例。參考文獻(xiàn)[55]提出一個將圖像中文字和空間位置關(guān)聯(lián)起來的注意力模型，不過他們?nèi)匀魂P(guān)注于圖像全局的標(biāo)識任務(wù)。參考文獻(xiàn)[26]提出一個使用語句邊界來校準(zhǔn)文字和短語的模型。他們的模型和我們的基準(zhǔn)模型類似，在第5節(jié)中將會具體描述。然而，這種方法并沒有我們的完整模型好，我們的模型另外還考慮到了圖像中其他的模糊區(qū)域。
視覺問題回答
指代表達(dá)和VQA任務(wù)相關(guān)。特別是，當(dāng)說話者問一個像“圖像中那輛紅色的車在哪兒？”的問題時，指代表達(dá)理解就能夠變成一個VQA任務(wù)，系統(tǒng)也要返回一個限定界限。然而，這兩個任務(wù)在理論上和實踐上還是有區(qū)別的。指代表達(dá)是關(guān)于交流的，在這個問題中說話者要發(fā)現(xiàn)與聽眾交流的最佳方式，而VQA主要是集中在回答問題而不是考慮聽眾想法上。另外，因為在VQA中問題通常開放式結(jié)尾，所以想要評估它們的答案基本和生成圖片標(biāo)識一樣困難，但評估限定邊界的準(zhǔn)確度是比較容易的。
3.數(shù)據(jù)組構(gòu)筑
目前已知最大的指代表達(dá)數(shù)據(jù)集是ReferIt數(shù)據(jù)集，它包含19894張自然景色圖像中130525種表達(dá)以及96654中不同對象。這次的數(shù)據(jù)集是在ImageCLEF IAPR數(shù)據(jù)集上的分割與標(biāo)記擴(kuò)展。然而這個數(shù)據(jù)集也存在兩個缺點，一個是其中圖像有時候只包含某特定類別下的對象，這允許說者可以使用不模棱兩可的精準(zhǔn)描述，另一個就是ImageCLEF數(shù)據(jù)集主要集中在“整體”而不是“個人”上。
在本文中，我們使用了和參考文獻(xiàn)[27]類似的方法，但是我們是在MSCOCO數(shù)據(jù)集的基礎(chǔ)上進(jìn)行構(gòu)筑的。它包含超過30000張圖片，在實時級別擁有80種分割對象。
針對每一個圖像，我們對它是否存在2到4種的對象類型進(jìn)行選擇，對它們的限定邊界是否占圖像區(qū)域的5%進(jìn)行測定，結(jié)果在26711張圖像中選擇了54822個物體。我們將對象選擇任務(wù)發(fā)布到亞馬遜的Mechanical Turk中，然后另外發(fā)布一個任務(wù)讓不同的人來選擇這個物體指代的是什么。我們將這些描述生成和驗證任務(wù)在Mechanical Turk迭代實驗了三次。通過這種方式，我們選擇了104560種表述。每個物體平均有1.91中表述方式，每個圖像平均有3.91種表述方式，結(jié)果如圖2所示。我們將這個可以用于可視化和評估的數(shù)據(jù)集和工具集發(fā)布在github上，詳見：https://github.com/ mjhucla/Google_Refexp_toolbox
圖2
當(dāng)我們在收集數(shù)據(jù)時，我們了解到Tamara Berg肚子將她的ReferIt游戲參考文獻(xiàn)[27]應(yīng)用到MSCOCO數(shù)據(jù)集上，從19994張圖片中生成了針對50000種對象的表述。她將她的數(shù)據(jù)分享給了我們，在本文中兩個數(shù)據(jù)集的結(jié)果都展示出來了。我們對兩種數(shù)據(jù)集進(jìn)行了可視化比較，詳細(xì)結(jié)果見圖3。
圖3
4.任務(wù)
在這節(jié)中，我們將探討我們是如何在高階范圍解決描述和生成這兩個主要問題的。我們將在下節(jié)詳細(xì)描述模型細(xì)節(jié)和訓(xùn)練過程。
4.1生成
進(jìn)行描述生成任務(wù)時，給予了系統(tǒng)一整張圖片和一個目標(biāo)對象（通過一個邊界盒具體化），并且必須生成一個目標(biāo)對象相關(guān)的描述。正式來說，任務(wù)是計算argmaxSp(SR，I)，其中S是句子，R是區(qū)域，I是圖像。
由于使用RNNs代表p（S|R，I），我們可以一次性生成一個S詞，直到產(chǎn)生一個結(jié)束句子的符號。雖然計算全部最有可能的句子非常困難，但我們可以通過束搜索大概的找到最有可能的句子（使用束的尺寸為3）。除了輸入是一個區(qū)域而不是整張圖像之外，它和標(biāo)準(zhǔn)的圖像搜索任務(wù)非常的相似。最大的不同之處是，我們將訓(xùn)練模型產(chǎn)生，能區(qū)分輸入?yún)^(qū)域和其它候選區(qū)域的描述。
4.2理解
進(jìn)行描述理解任務(wù)時，我們給予了系統(tǒng)一整張圖像和相關(guān)的描述，并且要求通過返回邊界盒的方式，定位圖像中提及的對象。有一種方法是給出相關(guān)的描述（和圖像）訓(xùn)練模型，讓它直接預(yù)測邊界盒的位置。但是，我們在論文中采用了一個更簡單，更基礎(chǔ)的方法。其特殊之處在于，我們首先生成一組區(qū)域推薦的C，并要求系統(tǒng)按概率將其排名。然后我們使用R*= argmaxRCp(R|S，I）選擇區(qū)域，根據(jù)貝葉斯法則，我們得到
假設(shè)一個統(tǒng)一的p（R|I）2，我們可以通過R*= argmaxRCp(R|S，I）選擇區(qū)域。這個方法和[29,40]中的圖像檢索方法非常相似，其中區(qū)域扮演了圖像的角色。
測試時，我們使用[10]中的“混合箱”方法產(chǎn)生對象推薦。從而產(chǎn)生了很多類不可分的邊界盒es。隨后我們把每個盒子分類到一個80MS-COCO的類別中，并拋棄那些低分?jǐn)?shù)的部分。我們使用所得到的分類盒作為建議集C，以便達(dá)到最高性能，同時我們也對圖像中的所有對象使用了真實的邊界盒。在兩種情況下，在排名推薦時，我們都沒有對對象使用特別的標(biāo)簽。
5.基準(zhǔn)方法
在該部分我們介紹了計算p（S|R，I）的基準(zhǔn)方法。
圖4.介紹基準(zhǔn)模型的結(jié)構(gòu)，<bos>和<eos>分別代表句子開頭和結(jié)尾。
5.1模型結(jié)構(gòu)
我們的基準(zhǔn)模型類似于其它的圖像捕捉模型，使用CNN表示圖像，然后用LSTM產(chǎn)生文本。其主要區(qū)別在于,我們通過一個興趣區(qū)域的CNN，增加CNN對于整個圖像（除了位置信息以外）的代表性。我們模型的基準(zhǔn)結(jié)構(gòu)見圖4。
進(jìn)一步說，我們使用VGGNet作為CNN，在ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。VGGNet最后的1000維層用來代表對象的區(qū)域。此外，我們統(tǒng)計整個圖像的特征，作為背景。實驗中，我們只優(yōu)調(diào)CNN最后一層的權(quán)重，并且固定了其它的層。為了將區(qū)域輸入CNN，我們保持了固定區(qū)域的縱橫比，并在224x224的分辨率中對其進(jìn)行測量，然后用平均像素填充邊緣（這類似于[17]中的區(qū)域扭曲方法）。這為我們提供了一個該區(qū)域和圖像2000維的特征向量。
我們使用了如下的五維向量編碼相關(guān)的位置和區(qū)域大小：
其中（xtl，ytl）和（xbr，ybr）分別是對象邊界盒左上角和右下角的坐標(biāo)，H和W分別是圖像的長和寬，Sbbox和simage分別是邊界盒大小和圖像。
結(jié)合區(qū)域，圖像和位置/大小特征，我們得到了一個2005維的向量，并將它作為LSTM序列模型的輸入，參數(shù)化式P（SR，I）。我們的LSTM中，使用了一個1024維的字嵌入空間，和一個1024維的隱藏狀態(tài)向量。我們采用了最普通常用的LSTM結(jié)構(gòu)，并且在每個時間點都將視覺代表作為LSTM的輸入。
5.2最大值可能性訓(xùn)練
我們的訓(xùn)練數(shù)據(jù)（在第3節(jié)中進(jìn)行了討論）由觀察到的（I，R，S）三個因素組成，其中I是圖像，R代表I中的一個區(qū)域，S代表R的相關(guān)表示。為了訓(xùn)練基準(zhǔn)模型，我們最小化相關(guān)表示，對于代表區(qū)域和圖像的消極影響：
其中θ是RNN和CNN的參數(shù)，并合計了訓(xùn)練集中的N個例子。我們使用了普通隨機(jī)梯度下降，其批量大小為16的，初始學(xué)習(xí)率為0.01——每50000次迭代次數(shù)減半。梯度規(guī)范被修改到最大值為10的范圍。為了抵抗過度擬合，我們對于字嵌入和LSTM輸出層，都規(guī)范0.5為使用的下降率。
圖5描繪如何訓(xùn)練整個模型使用softmax loss功能。R（綠色）就目標(biāo)區(qū)域，R·是錯誤區(qū)域。LSTM和CNNs的權(quán)重由R和R·共享。（色彩最好的視野）
6.完整的方法
基準(zhǔn)方法是訓(xùn)練模型最大化p（S|R，I），因為它是最常見CNN-LSMT圖像捕獲模型的基礎(chǔ)。然而，僅基于目標(biāo)對象直接產(chǎn)生表示的方法（在[19]中被稱為反射研究者法）存在缺陷，它可能無法產(chǎn)生有判別力的句子。例如，圖4中：為了通過綠色邊界盒產(chǎn)生一個代表女孩特點的描述，生成詞“粉紅”在它將該女孩和右邊女孩區(qū)分時起了作用。最后，在后文章中，我們提出了一個模擬訓(xùn)練對象。
6.1鑒別（MMI）培訓(xùn)
5.2節(jié)中提出了一種方法訓(xùn)練模型使用最大值可能性。所以我們現(xiàn)在給出相應(yīng)的目標(biāo)函數(shù)：
我們接下來稱之為softmax loss，注意到這和最大化S和R的共同信息一樣（假設(shè)統(tǒng)一的p（R）），因此
所以該方法同樣被稱為最大化相同信息（MMI）訓(xùn)練。
MMI之后主要的直覺是，我們想知道聽眾是否會明顯的打斷句子。我們實驗?zāi)Ｐ停此欠窨紤]到目標(biāo)對象的指代表達(dá)，也會被在同一張圖像中的對象相似的產(chǎn)生。因此給出了一個訓(xùn)練樣本（I，R，S），訓(xùn)練模型輸出高的p（S|R，I），同時無論R·是否等于R，都重點訓(xùn)練一個低的p（S|R·，I）。注意式2中對比最大值可能性目標(biāo)函數(shù)，在不考慮圖片中其它的對象情況下，直接最大化p（S|R）。
有幾個方法可以選擇C的推薦范圍。我們可以使用所有的正確對象邊界盒，但這會在視覺上很容易區(qū)分的目標(biāo)對象上浪費時間（我們稱之為“easy ground truth negatives”）。另一個選擇是，選擇和目標(biāo)對象同一個級別的正確對象邊界盒。這樣都更容易混淆。最后，我們可以使用和在測試中一樣的推薦混合盒，并且選擇一個有同樣預(yù)測對象標(biāo)簽的混合盒作為R。在8.2中，我們會將這幾種不同的方法進(jìn)行對比。在每一步使用等級5隨機(jī)的底片 ，這樣所有給出圖片的數(shù)據(jù)都會適合GPU內(nèi)存。
為了優(yōu)化式3，我們必須復(fù)制每一個R·∈ C(In)區(qū)域的網(wǎng)絡(luò)（包括正確范圍Rn），如圖5所示。結(jié)果MIMI訓(xùn)練模型和ML訓(xùn)練模型有著相同數(shù)量的參數(shù)，而且在5.2節(jié)中我們使用了相同的優(yōu)化和調(diào)整方法。因此唯一的不同點是目標(biāo)函數(shù)。
由于計算的原因，對比目標(biāo)區(qū)域R和單一的隨機(jī)負(fù)面區(qū)域R·，使用如下的最大利潤損失更加快捷：
我們稱之為max-margin MMI（或者M(jìn)MI-MM）直觀的捕捉到了和softmax counterpart (MMI-SoftMax)相似的結(jié)果，如8.2節(jié)所示，在實踐中也產(chǎn)生類似的結(jié)果。然而，由于最大目標(biāo)僅僅對比了兩個區(qū)域，所以網(wǎng)絡(luò)必須復(fù)制兩次。因此，每一個句子使用更少的內(nèi)存，每個最小批允許更多的句子加載，反而有助于穩(wěn)定梯度。
7.半監(jiān)督訓(xùn)練
收集相關(guān)的表達(dá)數(shù)據(jù)是非常的昂貴。在該部分我們討論了使用無描述邊界盒的方法，半監(jiān)督訓(xùn)練整個模型，因此這更是無處不在的。我們認(rèn)為，在甚至沒有附加描述的情況下，一個邊界盒（區(qū)域）R如此有用的原因是，在MMI訓(xùn)練中，如果它產(chǎn)生了一個它無法自解碼成正確的原始R（MMI激勵p（S|R，I）變的更高于p（S|R，I））的句子時，它允許我們自己設(shè)定模型。
圖6，描述了半監(jiān)督訓(xùn)練過程，細(xì)節(jié)見論文。
在這種半監(jiān)督設(shè)置下，我們考慮了一個小的，有著邊界盒以及描述的圖像數(shù)據(jù)集Dbb+txt，
和一個有著更大的圖像和邊界盒，但沒有描述的數(shù)據(jù)集Dbb。使用Dbb+txt訓(xùn)練模型（我們稱之為模型G）計算p（S|R，I）。然后利用模型G，產(chǎn)生一系列關(guān)于Dbb中邊界盒的
描述（我們稱這個新的數(shù)據(jù)集之為Dbb+auto）。然后本著引導(dǎo)學(xué)習(xí)的精神，在Dbb+txt和Dbb+auto的并集上重新訓(xùn)練G，
上述的方法缺陷在于，并不是所有產(chǎn)生的句子都是可信賴的，這可能會“污染”訓(xùn)練集。為了解決這個問題，我們在Dbb+txt上訓(xùn)練了一個整體不同的模型（我們稱之為模型C），并且用它決定，在Dbb+auto數(shù)據(jù)集產(chǎn)生的句子中，哪些是值得信賴的。特別之處在于，我們應(yīng)用整體中的每一個模型，去解碼Dbb+auto中的每一個句子，并且只有當(dāng)每個模型找到了同樣正確的對象時，該句子才會被保留。我們稱結(jié)果為驗證數(shù)據(jù)集Dfiltered。這確保了產(chǎn)生的相關(guān)表示能夠被大量不同類型的模型理解，從而最大限度地減少過擬合。說明見圖6.在本實中，我們展示了我們的模型從半監(jiān)督訓(xùn)練中大大受益。
8.實驗
我們在第3節(jié)提到的兩種COCO相關(guān)表示數(shù)據(jù)集中進(jìn)行了實驗：G-Ref數(shù)據(jù)集和UNC-Ref數(shù)據(jù)集。我們隨機(jī)選擇了5000個對象作為驗證集，5000個對象作為測試集，而剩下的對象則作為訓(xùn)練集（44,822GRef和4000UNC-Ref）。
8.1評估指標(biāo)
在該部分，我們詳述了如何評估理解和生成任務(wù)性能。
表1.我們測量了UNC-Ref驗證數(shù)據(jù)的精度@1。每一行都是一種不同的訓(xùn)練模式。
列顯示了ground truth 或者multibox proposals,和ground truth（人類）或者產(chǎn)生描述的性能。因此有GT描述的列評估了理解系統(tǒng)的性能，并且有GEN描述的列評估（端對端）了產(chǎn)生系統(tǒng)的性能。
理解任務(wù)很容易評估：我們簡單的計算了真實和因此邊界盒之間聯(lián)合比（IoU）率的交點。如果IoU超過了0.5，我們稱該檢測為一個正確的正面，否則稱之為錯誤的負(fù)面（這相當(dāng)于計算@1測量的精度）。然后計算所有圖像的平均分。
生成任務(wù)的則要困難很多—我們可以用同樣的方法評估生成描述，即把它當(dāng)成圖像描述，使用如CIDEr，BLEU和METEOR的指標(biāo)進(jìn)行性能評估。然而這種指標(biāo)可能變得不可信任，并且不能解釋語義。相反，如大部分最近圖像捕捉競賽中所作的一樣，我們依賴人類評估。特別的是，當(dāng)提出一個感興趣的圖像和對象時，我們要求了 Amazon Mechanical Turk (AMT) 工作人員，將自動生成對象描述和人類生成對象描述對比。AMT工作人員并不知道哪一個是人類生成的句子，哪一個是電腦生成的句子（我們甚至沒有告訴他們一些句子可能是電腦生成以便減少偏見）。我們簡單的問他們哪一個句子描述的更好，或者他們是否一樣好。
增加非規(guī)模性的人類評估，我們通過如下方法評估我們整個系統(tǒng)，即傳遞自動生成的描述到理解系統(tǒng)中，并驗證他們是原來感興趣對象正確對應(yīng)的解碼。這端對端的的測試就自動的，并且比標(biāo)準(zhǔn)的圖像捕捉指標(biāo)更可靠。
8.2對比不同的訓(xùn)練方法
此部分，我們對比了不同的訓(xùn)練模型方法：最大值可能性訓(xùn)練（精準(zhǔn)方法）;簡單的ground truth負(fù)面最大邊際損（“MMIMM-easy-GT-neg”）；困難的ground truth最大邊際損失（“MMI-MM-hard-GT-neg”）：混合盒負(fù)面最大邊際損失（“MMI-MM-multiboxneg”）；最大soft或者M(jìn)MI損失（“MMI-SoftMax”）。在測試時，每一種方法，我們都考慮使用 ground truth或者multibox proposals。
表2：方法標(biāo)準(zhǔn)線（ML）的精度和基于各種數(shù)據(jù)集的目標(biāo)函數(shù)
此外，我們把事實描述和生成描述都考慮進(jìn)去。
在此實驗中，我們把UNC-Ref當(dāng)做是一個測試集，對各種各樣的MMI算法選擇和超參數(shù)設(shè)置進(jìn)行測試。只有在確定算法選擇和超參數(shù)設(shè)計之后，我們才會對G-Ref數(shù)據(jù)集進(jìn)行試驗。這會減少超參數(shù)和每一個特殊數(shù)據(jù)的“過度重合”。結(jié)果已在表1中進(jìn)行總結(jié)，所做總結(jié)如下：
模式在生成描述中表現(xiàn)更好，可能是因為生成描述比事實描述更短（5.99個單詞VS 8.43個單詞），或是因為生成和理解模式共享一些相同的參數(shù)，所以即使生成器錯誤地使用了單詞（比如，將“狗”描述成“貓”），但理解系統(tǒng)依然能正確解碼。直觀來說，模式使用自己的語言時能更好地進(jìn)行“交流”。
所有Full model的變體（使用MMI訓(xùn)練時）比使用最大似然法進(jìn)行訓(xùn)練的標(biāo)準(zhǔn)線表現(xiàn)的更好。
MMI訓(xùn)練的softmax版本和邊緣最大化方法相似，但表現(xiàn)更差。
MMI訓(xùn)練在難例中的收獲要比在簡單例的收獲的更多。
在使用真實建議時，能幫助實例訓(xùn)練；但在使用多邊框建議時（我們在實踐中采用的），最好還是使用多邊框的實例。
基于以上的結(jié)果，我們在剩余的文章部分會將帶有難實例的邊緣最大化訓(xùn)練作為Full Model。
表3.Full Model在少量標(biāo)注數(shù)據(jù)集上的訓(xùn)練表現(xiàn)和在大量自動標(biāo)注數(shù)據(jù)集上的訓(xùn)練表現(xiàn)比較。
8.3 完全監(jiān)督模式
在本部分，我們基于G-Ref和UNC-Ref測試和驗證，對標(biāo)準(zhǔn)線（最大似然性）和最大邊緣化MMI方法進(jìn)行比較。和前文一樣，我們會考慮真實圖像及測試時的測試圖像，和真實圖像（人工）及生成描述（自動）。結(jié)果在表2。從表中可見，在所有情況下，MMI的訓(xùn)練表現(xiàn)要比ML更好。
除上述的端至端評價，我們會對生成句子質(zhì)量進(jìn)行人工判斷。我們會從測試集中隨機(jī)選擇1000個物體并展示給Amazon Mechanical Turk的工作人員。標(biāo)準(zhǔn)線和full model中的描述到達(dá)或是優(yōu)于人類描述分別占比15.9%和20.4%。這顯示MMI訓(xùn)練效果比ML更好。
8.4半監(jiān)督的訓(xùn)練
為進(jìn)行半監(jiān)督試驗，我們把UNC-Ref和G-Ref的數(shù)據(jù)集分成兩個有相同目標(biāo)數(shù)的部分。第一個部分（指代為Dbb+txt）具有目標(biāo)描述注釋，第二部分（指代為Dbb）僅僅只有邊框。表3顯示的是半監(jiān)督訓(xùn)練基于我們的數(shù)據(jù)的確認(rèn)集和UNC-Ref上的測試結(jié)果。從表中可見，使用Dbb+txt和Dbb比單獨使用Dbb+txt的結(jié)果要好。
8.5 定性結(jié)果
圖7使用完整模式（短劃線之上）和基線模式（短劃線之下）生成的描述例子。
圖7展示了完整生成模式（在短劃線之上）和基線生成模式（在短劃線之下）在測試圖片上的定性表現(xiàn)。我們由完整模式生成的描述要比基線模式生成的描述更長，更能辨別。例如，在第二幅圖片中，基線模式把其中一只貓描述為“躺在床上的貓”，這一描述不能讓聽者辨別出被描述的貓。完整模式把同一只貓描述為“躺在左邊的貓”，這樣的描述就很清楚。
圖8使用完整模式進(jìn)行描述辨認(rèn)的結(jié)果。第1欄和第2欄分別顯示的是原始圖像和多邊框建議。第3到底6欄顯示的是當(dāng)輸入圖中任意目標(biāo)的描述時的模式判斷結(jié)果。紅色邊框指代的是由模式預(yù)測的最有可能的目標(biāo)，藍(lán)色邊框指代的是可能目標(biāo)的邊緣。這些描述可能會是數(shù)據(jù)集中的固有描述（第3欄），或是特殊描述（第4到第6欄）。
圖8顯示完整模式基于測試集的定性結(jié)果。第1和第2欄分別顯示的是原始圖像和多邊框建議。最后4欄顯示的是模式根據(jù)輸入選擇的邊框（所有的句子都是為探索模式的理解能力）。為更好的解釋這些結(jié)果，我們在模式的范圍之內(nèi)的邊框用藍(lán)色邊框表示。這些邊框被看做是“候選邊框”，但是這些邊框的分?jǐn)?shù)不如選中的分?jǐn)?shù)高。
總的來說，我們可以看到理解模式在從兩三個詞組到更長的描述中都表現(xiàn)很好。它能正確應(yīng)對指代表達(dá)中單個單詞的改變（例如，“穿黑色衣服的男人”和“穿紅色衣服的男人”）。它也能正確辨認(rèn)指代表達(dá)，例如，“載著女人的一匹黑馬”，“女人”在另外一個短語也出現(xiàn)過“女人騎在黑馬上”——但是要注意這種嵌入的單詞可能會辨認(rèn)失敗。例如，在第4欄中，輸入“穿白色衣服的女人”但卻選擇了“穿黑色衣服的女人”；這是因為我們的模式不能處理目標(biāo)未出現(xiàn)的情況，但是做了合理的猜測。同樣，在第5欄，可能是因為控制器太小以至于難以檢測，或是缺少相關(guān)訓(xùn)練數(shù)據(jù)，輸入“女人手中的控制器”但卻選擇了女人，橘色茶杯和控制器。
9.總結(jié)
總的來說，我們向讀者展示了兩個簡單觀點。第一，指代表達(dá)的研究已進(jìn)行了數(shù)十年，但基于最近的圖像解釋潮流，這項研究又迸發(fā)出新的活力。圖像解釋本身很難評價，指代表達(dá)有一個客觀的表現(xiàn)指標(biāo)，并且要求語言和圖像的語義相符合。基于數(shù)據(jù)集測試的成功比通過標(biāo)準(zhǔn)圖像解釋的意義更大。
第二，為成功生成描述，我們需要傾聽者。試驗顯示，建模一個傾聽者能正確解碼生成的描述，這樣的模式比使用只基于圖像特征進(jìn)行輸出的模式表現(xiàn)要好。希望除了我們的數(shù)據(jù)集，這些觀察能促進(jìn)視覺和語言聯(lián)合模式的建立。
via CVPR2016
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
