王威廉組滿分CVPR論文：遵照自然語言指令的室內導航

本文作者：楊曉凡

2019-03-05 10:08

導語：強化學習結合NLP結合視覺結合自監督學習

雷鋒網 AI 科技評論按：CMU 博士、UC Santa Barbara 計算機科學系助理教授王威廉（William Wang）是學術圈內的積極分子，研究領域涵蓋信息提取、社交媒體、語言和視覺、口語處理、機器學習理論和知識圖譜等。王威廉也是社交媒體紅人。

王威廉組的學術研究非常活躍，小組內常有頂會論文出現。根據王威廉微博介紹，他們組有 6 篇論文被自然語言處理頂級會議 NAACL 2019 接收，其中甚至包括來自二年級本科生同學的論文。近日隨著 CVPR 2019 發榜，王威廉組王鑫同學與微軟研究院的合作文章《Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation》也被 CVPR 接收。王威廉表示，“本文是CVPR滿分文章（3個Strong Accept），在5165篇投稿文章中審稿得分排名第一。今天被程序委員會和領域主席評審團確定為CVPR口頭報告論文，我們將在夏天在洛杉磯長灘市進行報告。”

雷鋒網 AI 科技評論把論文內容簡單介紹如下。

Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation

用于視覺-語言導航的強化跨模態匹配及自我監督模仿學習

論文地址：http://arxiv.org/abs/1811.10092

論文簡介：視覺-語言導航（Vision-language navigation，VLN）任務是指在真實的三維環境中讓具有實體的智能體進行導航并完成自然語言指令。在這篇論文中，作者們研究了如何解決這個任務中的三個重點挑戰：跨模態參照，糟糕的反饋，以及泛化問題。作者們首先提出了一種新的強化跨模態匹配（RCM）方法，它可以通過強化學習的方式同時促進局部和全局的跨模態參照。具體來說，他們使用了一個匹配指標，它成為了鼓勵模型增強外部指令和運動軌跡之間匹配的固有反饋；模型也使用了一個推理導航器，它用來在局部視覺場景中執行跨模態參照。在一個 VLN benchmark 數據集上進行的評估結果表明，作者們提出的 RCM 模型大幅超越已有模型，SPL 分數提高了 10%，成為了新的 SOTA。為了提高學習到的策略的泛化性，作者們還進一步提出了一個自監督模仿學習（SIL）方法，通過模仿自己以往的良好決策的方式探索未曾見過的環境。作者們表明了 SIL 可以逼近出更好、更高效的策略，這極大程度減小了智能體在見過和未見過的環境中的成功率表現的差別（從 30.7% 降低到 11.7%）。

王威廉組滿分CVPR論文：遵照自然語言指令的室內導航