<mark id="oztn4"></mark>
0
字幕組雙語原文：探索與執行：通過元強化學習分解實現無獎勵自適應
英語原文：Explore then Execute: Adapting without Rewards via Factorized Meta-Reinforcement Learning
翻譯：雷鋒字幕組（小哲）
比家務活更有成就感的活動。
沒有人喜歡家務 一 我們可以制造機器人來幫我們做這些家務嗎？例如做飯。 訓練執行各種任務的智能體的一個通常范式就是針對每個特定的任務利用強化學習的方法訓練一個單獨的智能體，可是在人們的家中利用強化學習的方式從頭開始訓練一個智能體將會完全失敗，因為這（訓練過程）將會導致許多的災難（例如廚房火災），而且采用強化學習的方式從頭開始訓練一個智能體需要來自每個人大量的監督，從而對機器人成功做出一頓飯給出獎勵，并且這也會花費大量的時間（從頭學習每一個簡單的任務都需要強化學習智能體數百萬次嘗試）。
相反， 理想的做法是，如果一個機器人首先在機器人廚師工廠中首次訓練完成之后，我們就可以訓練它使其能夠快速適應各種各樣的家庭廚房。直觀地說， 這應該是可能的， 因為不同的任務和環境都擁有大量相似結構（例如， 在一個廚房里做比薩餅類似于在另一個廚房里做漢堡包）， 這可以使學習每一項任務變得更容易和更有效率。
幸運的是，在對許多相似的任務進行了第一次訓練之后，元強化學習尋找的確切目標是通過對新任務很少的交互來訓練智能體使其適應新任務,那么, 為什么今天沒有機器人在我們的廚房做飯呢? 為了回答這個問題, 我們將把注意力轉向元探索的問題: 如何最好的利用這些很少的交互來探索新的任務. 例如, 為了適應一個新的廚房, 一個機器人廚師理想的情況下應該花很少的互動來探索新廚房來尋找配料(烹飪原料), 這允許它能夠作出一頓飯(解決這個任務). 在這篇博文中, 我們將討論并解決關于的元探索的兩個關鍵挑戰, 這兩個挑戰讓人類留在廚房(意思就是機器人不能正常工作)。
第一, 我們將展示現有的元強化學習方法存在雞和蛋耦合的難題: 如果機器人已經知道如何做飯的話, 那么學習探索發現烹飪原料只能幫助機器人準備這頓飯, 但是機器人只有知道了原料在哪里,它才能學會做飯.為了避免學習探索與學習執行(解決任務)的循環依賴問題, 我們提出一個目標來讓智能體獨立的學習這兩個過程。
第二, 我們也會發現, 標準的元強化學習的問題設置希望機器人能夠通過試錯作出正確的飯菜,甚至沒有告訴機器人做什么飯, 這不必要的使元探索的問題變復雜,為了避免這個問題, 我們提出一個基于指令的元強化學習方法, 在這種方法中,機器人將會收到特定做什么飯的指令。
標準元強化學習設置
在開始之前, 我們回顧一下標準元強化學習的問題討論, 在元強化學習中,一個智能體(例如一個機器人廚師)需要在不同的環境(不同的廚房)和不同的任務(不同的飯菜)中進行訓練, 然后需要在新的環境和新的任務中進行元測試, 在面對一個新環境和一個新任務時,在真正開始執行任務之前, 智能體需要花費一段時間探索,來收集必要的信息(例如, 定位配料的位置),, 然后在執行任務的過程中,智能體需要完成這個任務(例如作出一頓飯)。
在更正式的語言中，標準meta-RL考慮了一系列問題，其中每個問題確定了一個獎勵函數\mathcal{R}\muRμ（例如，烹調一個比薩餅）和轉換交互的場景（例如，廚房）, 使用Duan等人2016年的術語，我們將一個試驗定義為同一問題中的幾個片段, 第一個階段是探索片段, 在這個片段中智能體收集信息并且不需要獲得最大回報. 所有接下來的片段時執行階段, 在這個階段中,智能體需要完成這個任務,其目標是在元測試試驗的執行階段，即在元訓練期間的許多試驗中進行第一次訓練之后，最大限度地獲得回報。
雞和蛋的耦合問題。元探索問題的通常的方案(Wang et al., 2016, Duan et al., 2016)就是優化一個循環的策略, 這個策略基于執行事件的獎勵進行端到端的探索與訓練. 我們希望能在重復策略的隱藏狀態下，捕捉到探索事件中所學的信息，然后這些信息將對執行事件有用. 可是這會導致一個雞和蛋的耦合問題,這就是學習很好的探索行為需要已經學到很好的執行行為,反之也是這樣這就阻礙了這種方法的學習。
例如, 如果一個機器人廚師不能發現廚房中配料的位置(糟糕的探索), 然后它可能就不能學習如何做飯(糟糕的執行). 另一方面, 如果一個機器人不知道如何做的飯(糟糕的執行), 那么無論探索過程如何做,都不能夠成功的做出一頓飯.這就使得探索過程充滿了挑戰. 由于機器人剛開始訓練時既不能探索也不能做飯, 將會陷入一個局部極小值,并且很難學習。
耦合難題。 哪一個先開始:雞(好的探索)還是蛋(好的執行)
利用DREAM避免這個耦合難題. 為了放置雞和蛋耦合的難題, 我們提出了一個方法打破在學習探索與學習執行行為二者的這種循環依賴, 這種方法稱為DREAM。直覺上，通過嘗試恢復執行指令所需的信息，可以學習到良好的探索。因此，從高層次上講，DREAM包括兩個主要步驟：1）同時學習獨立于探索的執行策略，并了解執行所需的信息；2）學習一個探索策略來恢復該信息。
為了回答雞和蛋的問題, DREAM制作了它自己的蛋并且然后雞出來了
具體來說, 第一步, 我們基于問題標識符\mu，訓練一個執行策略 \pi^\text{exec}πexec, 在做飯的例子中， 可能要么直接確定廚房的屬性（例如墻的顏色或者配料的位置），要么直接給廚房提供唯一的獨特的標識符（例如one-hot編碼） 。 這種問題標識符（直接或者不直接 ） 編碼了所有必要的信息去解決廚房中的這種問題， 允許執行策略獨立于探索過程進行學習，這種方法避免了耦合問題。 同時，我們在第一步中的目標是只識別執行指令所需的信息，而問題標識符也可能編碼無關的信息，例如墻顏色。為了移除這些冗余的信息，我們應用一個信息瓶頸的策略來獲得瓶頸操作后的表示ZZ，我們使用zz來訓練一個探索的策略\pi^\text{exp}πexp。
在第二步中，一旦我們獲得了一個瓶頸表示zz（理想情況下只包含執行指令所需的信息），我們就可以訓練一個探索策略\pi^\text{exp}πexp來恢復探索事件中的信息。為此，我們推出探索策略以獲得一個片段\tauτ，然后根據該片段對zz中包含的信息進行編碼的程度來獎勵該策略。粗略地說，這個獎勵是瓶頸表征zz和片段\tauτ之間的相互信息I（z；\tau）I（z；τ）。
DREAM元測試
在元訓練期間，通過簡單地為每個問題分配一個唯一的one-hot編碼，問題標識符\muμ很容易提供，但在元測試期間通常不可用或沒有幫助（例如，如果\muμ是一個全新的one-hot編碼）。這似乎很令人擔憂，因為在元訓練期間，zz上的執行策略條件需要知道\muμ。但是，由于探索策略經過訓練，可以生成包含與zz相同信息的探索軌跡\tauτ，因此我們可以在元測試時通過推出探索策略直接將\tauτ替換為zz。詳情請看我們的論文！
改進標準meta-RL設置。第二個元探索挑戰涉及元強化學習設置本身。雖然以上標準的meta-RL設置是一個有用的公式，但我們觀察到兩個方面可以使得元強化學習變得更加有現實意義。首先，標準的設置需要智能體依據獲得的獎勵自己推斷任務(例如,做什么飯)，這是沒有必要并且非常不高效的. 相反, 在現實情況下，使用者將會告訴之恩功能題他們需要什么。
開放和誠實的溝通對你的機器人也很重要。
雖然標準的元強化學習的設置利用了不同問題（環境和任務對）之間的共享結構，但它不能捕獲同一環境中不同任務之間的共享結構。確切的來說, 在一次實驗中的所有片段都是固定的,為了執行一個新任務（例如，做一頓新飯），智能體需要另一個探索片段，即使底層環境（如廚房）保持不變。取而代之的是，一個智能體在一個探索片段之后，能夠執行許多任務。例如，在探索廚房找到任何配料后，一個理想的機器人廚師將能夠烹調任何涉及這些配料的飯菜，而在標準元強化學習環境中訓練的智能體只能做一頓飯。
按照標準元強化學習設置訓練的機器人廚師晚餐安排
這兩個方面可以掩蓋元探索問題，即如何最佳地使用探索片段，因為前者需要不必要的探索來推斷任務，而后者只需要智能體探索來發現與單個任務相關的信息。 雖然直覺上，智能體應該花費探索片段來收集有用的信息，以供以后的執行事件使用，但在許多情況下，當處理簡單的任務時最優探索會崩潰。例如，智能體只能發現任務是通過成功地烹調比薩餅并獲得積極的獎勵來烹調比薩餅，但在未來的執行片段中卻一次又一次地做同樣的事情。這會讓探索情節幾乎毫無用處。
基于指令的元強化學習。 為了使元強化學習具有更好的現實意義， 我們提出一種新的稱為基于指令的元強化學習， 這種方法將解決了上邊的兩個方面的問題， (i)給智能體提供一個指令(例如， 制作比薩或者one-hot編碼)，這個指令在執行階段指定了特定的任務。(ii)在執行階段通過提供不同的指令更換任務。 例如，在工廠的不同廚房進行元訓練后，機器人廚師可以在一個單獨的安裝階段（探索片段）后，在新的家庭廚房中烹飪人類指定的許多不同的飯菜。
基于指令的meta-RL：改變每一個執行事件的任務通過指令傳遞給智能體。在試驗中，環境仍然保持不變。
無獎勵自適應。在標準的元強化學習設置中，為了推斷任務智能體需要在探索期間進行獎勵觀察。然而，通過接收在IMRL中指定任務的指令，個好處是代理不再需要觀察獎勵來適應新的任務和環境。具體地說，IMRL支持無獎勵適應，在元訓練期間，智能體在執行階段使用獎勵觀察來學習解決任務，但在探索階段不觀察獎勵。在元測試期間，代理從不觀察任何獎勵。這使我們能夠對真實世界的部署情況進行建模，由于在這種真實世界情況下，收集獎勵監督非常昂貴。例如，機器人廚師最好能夠適應家庭廚房，而不需要任何人的監督。
IMRL通用嗎？重要的是, 把指定設置為空就退化為標準的元強化學習設置. IMRL通用嗎？重要的是， 把指定設置為空就退化為標準的元強化學習設置。 換句話說， 標準的元強化學習就是IMRL的一種特殊情況， 在這種情況下，使用者的希望是固定的，并且使用者不給出任何指令。 因此IMRL的算法也可以直接應用到標準的元強化學習中， 反之亦然。
稀疏獎勵三維視覺導航。在我們論文中的一個實驗中，我們在一個是稀疏獎勵三維視覺導航問題組中評估DREAM，這個問題在2020年由Kamienny等人提出，我們在這個問題中引入視覺信號和更多的物體來世的這個問題變得更難。我們使用IMRL無獎勵適應的設置。在執行片段中，智能體收到一個指向目標的指令，一個球，一個塊障礙塊者一個鑰匙，智能體從障礙的另一側開始執行過程，并且必須繞著障礙物走一圈，閱讀標志（用黃色突出顯示），在問題的兩個版本中，標識要么指定到對象的藍色或紅色版本。智能體接收80x60 RGB圖像作為觀察，可以向左或向右或向前移動。執行正確的對象會得到+1的獎勵，而去錯誤的對象會得到-1的獎勵。
如下圖所示, DREAM在這項任務中學會了近乎最佳的探索和執行行為。在左邊，DREAM在探索的一段時間里繞著障礙物走著，看上面寫著藍色的標牌。在右邊，在一個執行片段中，DREAM收到了一個走到鑰匙的指令。因為在探索的階段 DREAM已經讀到寫著藍色的標志，所以它走向藍色鍵。
探索
執行(走到鑰匙)
對比。廣義上來說， 以前的元增強學習方法分為兩個組：(i)端到端的方法， 這種方法基于執行階段的獎勵優化探索與執行過程。 (ii)解耦的犯法，這種方法利用單獨的目標單獨優化探索與執行過程，我們對比DREAM方法和這兩類中目前最優的方法， 在端到端訓練的類別中，我們對比
RL^2212， 經典的端到端方法,它根據過去的狀態和獎勵觀察的整個序列來學習一個周期性的策略。
VariBAD3， 該方法在遞歸策略的隱狀態中增加了輔助損失函數，以預測當前問題的收益和動態。這可以看作是學習信念狀態4，它是對過去所有觀察的充分總結。
IMPORT5，這種方法額外的利用問題的屬性來幫助學習執行行為。
除此之外, 在解耦類別中，我們對比：
PEARL-UB，這是PEARL6的上界. 我們利用問題的真實后驗分布，分析性地計算出由特定于問題的最優策略所獲得的預期回報。
定量結果。 下邊我們打印出所有方法的收益。 對比實現了幾乎最優結果的DREAM， 我們發現端到端訓練的方法從來沒有讀取到標志， 并且為了防止收到負的獎勵， 結果就是錯過了所有的物體。 即使他們被允許在探索情節中觀察獎勵（虛線），這種情況也會發生。因此，它們沒有得到回報，這表明了耦合問題。
另一方面， 盡管解耦類別的方法避免了耦合問題， 單是有互目標沒有得到最優的探索策略。 例如盡管可以獲得特定問題的真實后驗概率分布， 湯普森采樣方法(PEARLUB)沒有實現最優的獎勵，要了解這一點，回想一下Thompson抽樣是通過從后驗分布中抽樣一個問題并遵循該問題的執行策略來探索的。由于最優執行策略直接指向正確的對象，并且從不讀取符號，因此Thompson抽樣在探索過程中從不讀取符號。 相比之下，DREAM的一個很好的特性是，只要有足夠的數據和足夠的策略類，它就可以從理論上學習最優的探索和執行。
在探索過程中有（虛線）和沒有（實線）獎勵的訓練曲線。只有夢才能讀懂標志，解決任務。而且它在探索過程中不需要獎勵就可以做到！
額外的結果，在我們的論文中，我們也在額外的簡愛哦學問題中評估了DREAM，設計這些問題來回答下列問題：
DREAM可以高效的探索發現這些僅僅在執行過程中需要的信息嗎？
DREAM對于新的指令與環境能夠很好的泛化嗎？
除了基于指令的元強化學習之外，DREAM也可以在標準的元強化學習中獲得提升的結果嗎？
大體上來說，對于以上問題，答案是肯定的，你可以從我們的論文中獲得更加細節性的結果。
總結，在這篇博文中， 我們解決了元探索的難題：在一個新環境中為了執行一個任務如何更好的收集信息。 為了做這個工作， 我們測試并且解決兩個主要的關鍵挑戰。
首先, 我們看到了現有的元強化學習方法如何通過端到端優化探索和執行來最大限度地獲得回報，但卻成為了雞和蛋問題的犧牲品。如果智能體還沒有學會探索，那么它就無法收集學習解決任務（例如做飯）所需的關鍵信息（例如，配料的位置）。另一方面，如果智能體還沒有學會解決任務，那么就沒有學習探索的信號，因為無論如何，它都無法解決任務。我們通過提出一個解耦的目標（DREAM）來避免這個問題循環，即學習獨立地探索和學習解決任務。
第二，我們看到了標準的元強化學習設置如何捕捉適應新環境和新任務的概念，但要求智能體不必要地去探索來推斷任務（例如，做什么飯），并且不利用相同環境中不同任務之間的共享結構（例如，在同一個廚房烹飪不同的飯菜）。我們通過提出基于指令的meta-RL（IMRL）來解決這個問題，IMRL為智能體提供了一條指定任務的指令，并要求智能體探索和收集對許多任務有用的信息。
DREAM 和 IMRL 很好地結合在一起： IMRL 原則上實現了無獎勵的適應，而 DREAM 在實踐中實現了這一點。由于 雞蛋相生 耦合問題，我們測試的其他最先進的方法無法實現無獎勵的適應。
接下來是什么？ 未來還有很多工作要做 一 下面是一些研究探索的方向：
更復雜的指令與問題ID表述. 這項工作檢查了一個情況，在這種情況下,指令與問題ID都被表達為唯一的one-hot編碼，作為概念證明。當然，在現實世界中，指令和問題ID可能更好地用自然語言或圖像（例如，要烹飪的飯菜的圖片）來表示。
把DREAM應用到元強化學習的設置中, DREAM通常適用于任何元強化學習設置，其中一些信息被傳遞給智能體，其余的信息必須通過探索來發現。在這項工作中，我們研究了兩個這樣的例子：在IMRL中，指令傳達任務；在標準的元強化學習設置中，一切都必須通過探索來發現，但是還有其他設置也值得研究。例如，我們可能希望向智能體傳遞有關環境的信息，例如某些配料的位置，或者左邊的煤氣頭壞了，所以機器人廚師應該使用右邊的。
無縫集成探索和執行。在最常見的meta-RL設置中，允許智能體首先通過探索（探索階段）收集信息，然后再解決任務（執行階段）。這也是我們研究的環境，它可以是相當現實的。例如，一個機器人廚師可能需要一個安裝階段，在開始做飯之前，它首先探索家庭廚房。另一方面，一些作品，如Zintgraf et al.，2019，要求智能體從一開始就開始解決任務：沒有探索情節，所有情節都是執行情節。夢在這種情況下已經可以運作了，只需在第一個執行情節中忽略獎勵和探索，并在隨后的執行情節中用更好的表現來彌補第一個執行情節。這項工作令人驚訝地好，但最好能更優雅地將探索和執行結合起來。
雷鋒字幕組是一個由AI愛好者組成的翻譯團隊，匯聚五五多位志愿者的力量，分享最新的海外AI資訊，交流關于人工智能技術領域的行業轉變與技術創新的見解。
團隊成員有大數據專家，算法工程師，圖像處理工程師，產品經理，產品運營，IT咨詢人，在校師生；志愿者們來自IBM，AVL，Adobe，阿里，百度等知名企業，北大，清華，港大，中科院，南卡羅萊納大學，早稻田大學等海內外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。
雷鋒網雷鋒網
