Rich Sutton 最新 WAIC 演講：從數據時代到經驗時代的 AI

雷峰網訊 AI 和人都站在兩個時代之間的歷史轉折點上。

隨著人類數據中可提取的知識迅速接近極限，Scaling Law 的終點已經隱約可見。今天的大語言模型可以編程、寫詩，卻仍無法獨立發現新知。顯而易見，真正的智能，呼喚著新的訓練范式出現。

更迫切的問題關乎人自身。自古以來，智者們便試圖理解人的心智如何運作。當這一原理終于要被探明，千年追求的終點前卻不僅有期待，還有對 AI 的恐懼。站在 AI 智能水平可能超越人類的轉折點上，我們要如何看待它？以及更關鍵的問題，如何看待自己？

WAIC 2025 現場，現代強化學習的奠基人、阿爾伯塔大學教授 Rich Sutton 教授發表了題為《從數據時代到經驗時代的 AI》的主旨演講。Sutton 教授指出，學習源于強大的體驗，而體驗是心智活動的基礎。智能體與世界的第一人稱互動中，可能藏著一條通向超越人類智能的小徑。

“經驗時代”的概念由此而來。智能體對世界進行感知與交互，獲取海量動態且高度定制化的數據，這種數據源將超越任何靜態的合成數據生成程序，也更貼近生命的本質。就像 Sutton 教授此前曾對媒體所言：“世界從未告訴你應該做什么，是你從經驗中學到了一切。”

然而 Sutton 教授也指出，由于現有的深度規劃算法尚不具備持續學習以及元學習能力，因此還不足以釋放經驗數據和強化學習的全部潛力。

在演講中，Sutton 教授還提出了關于 AI 的四條現實主義預測。“全世界對于 AI 應該如何發展沒有共識”、“真正的智能必被創造”、“人類智能水平將被很快超越”，以及“隨著時間推移，社會的權力和資源會流向最智能的存在”。他用一個非人類中心的視角重新審視人類的存在，對于宇宙而言，人類真正的使命或許就是“創造那些本身能夠創造事物的東西”。

AI 科技評論對演講進行了不改變原意的整理：

非常榮幸，今天我主要有三點要講。第一點是“人類數據時代”，我認為我們此刻正身處其中，但也正在向一個“經驗時代”轉變。然后我想從政治的角度談談人工智能，這涉及到一些根本性問題，以及我們如何在人類社會中相互協作。第三個話題是關于在人工智能的飛速發展之下，我們要如何思考未來，以及人和 AI 在其中扮演的角色。

從數據時代到經驗時代

讓我們直接從第一個話題開始。我們現在正處于“人類數據時代”，AI 的訓練數據來源于互聯網上人類生成的文本和圖像，然后由人類專家進行微調，其中涉及到私人偏好和關于 AI 應如何表現的示例，而這整個過程都圍繞著通用的人類詞匯展開。與 50 年前的世界大不相同，這是一個人類數據無處不在的時代，一個由事件和人類參與推動的新時代。

然而我們即將到達這個時代的終點。由于大多數高質量數據源已經被消耗殆盡，我們開始觸及人類數據的極限。并且，基于人類數據的方法無法產生真正的新知識。因為它完全基于已有的思想，發現新知超出了該方法的能力范圍。

那么，我們將如何獲得真正的智能？

我認為，我們現在正進入“經驗時代”，我們需要 AI 生成的數據源。這些數據會隨著 AI 變得更強大而增長、改進和變化。互聯網再大，也是一個靜態的數據集。而通過智能體與世界的第一人稱交互，可以生成更多經過調整和定制化的數據。我將其稱為“經驗”，即與世界交互的數據。

在初級階段，首先要讓智能體學習，讓我用一個視頻來說明為什么這至關重要。大家可以看到一個正在玩玩具的小嬰兒，他與玩具互動，從中獲得反饋，認為這是一只很好的小貓，然后轉向下一個玩具。在此過程中，生成的數據不是靜態的數據集合，而是非常動態且高度定制化的。通過這種互動，他自己決定何時完成一個任務，何時進行下一次探索。人類嬰兒的行為因此展示出好奇心和渴望，也更加真實和多樣化。

可以看到，經驗數據非常密集。數據會以極高的速率進入你的身體，進入你的眼睛、耳朵和四肢。因此我們必須非常迅速地做出決策，任何延遲都無甚益處。并且所有決策都是圍繞著目標的，揮動球棒是為了擊中球，足球運動員為了進球而控球，動物們為了生存而奮斗。這還是一個高帶寬的活動，實時獲取的信息被用于決定下一步行動和預測即將發生的事情。

這就是生命的本質。正是這種數據的可用性，讓 AlphaGo 能夠走出其創造性的第 37 步，人類永遠不會想到的一步，并由此引發了關于圍棋思維方式的變革。這也是一種經過驗證的、基于數據的方法，在國際象棋等領域（如AlphaZero）已經有獎牌為證。

讓我再用一頁幻燈片談談我們這種思維方式。設想一下我們的智能體，它們通過與世界交換信號（感知與交互）來獲取數據，這些數據構成了它們的經驗。

請注意，這種數據與經典機器學習（例如監督學習）中的數據截然不同。在監督學習中，你看到的是 IID（獨立同分布） 樣本，這些樣本可以被隨機打亂，以任何順序出現。而智能體在這里觀察到的是行為。它學到的是“在此情境下，預測某個標簽”，而對抗機制則會生成它所使用的那類數據。這類數據表達的是：“在這種情境下，預測這個（行為）”。然后當智能體行動時，其實際上也是在執行預測的動作。

因此，智能體看到的并不是我們通常理解的那種數據或經驗。人類采取行動，然后觀察到結果。關鍵在于智能體并不會看到，關于“應當如何行為”的示例，它只會看到自身實際行為所產生的后果。因此，這種學習經驗不同于監督學習，在人類數據時代，數據背后的本質與監督學習是分離的。在人類數據時代，數據背后的本質與監督學習是分離的（Divide from）。

一個更深入的觀察是，在這種經驗式思維模式下，智能體所學到的一切都是關于其自身體驗的事實，我認為對人類而言也是如此。我們所相信的一切，都必須能夠轉化為可以成功印證我們體驗的事實。你相信加拿大在北方，并且很遙遠，這是一個關于你將如何旅行的信念。你相信你正坐在禮堂里聽演講，這是一個關于你體驗的信念，一個關于你坐著的椅子，或你所處空間的事實。所有這些都必須轉化為關于你的體驗的事實，以便它們能夠在無需人類干預的情況下被自動學習和調整。

延續這種體驗式思維模式，當我們說一個智能體是智能的，那么其智能程度取決于它預測和控制激勵信號（特別是其獎勵信號）的能力。在這種觀點下，經驗就是AI智能的核心和基礎。這是貫穿強化學習領域并構成其基礎的深刻觀點，我覺得這對你們所有人來說都很明顯——學習源于強大的體驗，而體驗是心智活動的基礎。但有時顯而易見的東西反而更難看清，人們需要新的視角才能看到它。

我最近被計算機科學之父艾倫·圖靈的這句話所震撼。他在 1947 年（那時甚至還沒有 AI 這個詞）說過：“我們想要的是一臺能從經驗中學習的機器。”我認為這是一個非常深刻的觀點，尤其是在我們觸及人類數據極限并試圖從經驗中學習的今天，它對于現代 AI 變得尤為重要。因此，這引出了我們近年的發展歷程。大家可以從左到右地看到，我們這些年對強化學習投入了極大的關注。

我們必須提到 Atari 的工作，它首次引起了人們對強化學習的濃厚興趣，而 AlphaGo 深化了這種興趣，并在 AlphaZero 成為世界冠軍時使其達到了巔峰。基本上所有人都在說：“看，現在我們有大型語言模型了。”這就是 GPT-3 以及所有其它模型，如 ChatGPT 和更現代的那些。這在世界上引起了巨大的、真正具有創造性的轟動。

這些系統的能力已經得到了展示：非常強大、非常重要、非常有用。但是我們正在觸及人類數據的極限，我們現在正轉向體驗。我們看到在 AutoGPT 這樣的系統，以及那些使用AI來控制計算機的系統（如編程助手）中，人們對利用體驗的興趣日益增長。這可能是我們獲得超越人類智能，去解決那些超越人類構建能力的超級挑戰的途徑。

所以總結一下我對未來 AI 的看法。首先，超級智能體和超級智能增強人類的問世都會發生，并且將會為世界帶來巨大福祉。這可能需要幾十年時間，不需要很多個十年，也許只要一兩個，并且在那之后還會持續幾十年。這不是短跑沖刺，如果這是一場比賽，那會是一場馬拉松。

要充分享受智能的益處，我們需要能夠從經驗中學習的智能體。如今的大型語言模型已經非常出色，作為通往世界所有知識的可定制接口，它們非常重要且有價值，但它并不真正處于通向強大通用智能的道路上。我們已經進入了一個新時代，“經驗時代”。在這個時代，我們可以使用強化學習作為致力于從經驗中學習的技術。然而，要實現從經驗中學習或強化學習的全部潛力，還需要更好的深度規劃算法。我們現有的深度規劃算法尚不具備持續學習以及元學習的能力。

由于存在一個需要被解決的根本性問題，這些問題可能會再次出現。但我相信它們終將被解決，事實上這一過程正在發生，這正是我們討論的核心所在。那么，歡迎各位進入“經驗時代”。

繁榮的源頭，去中心化合作

現在，我要從政治的角度談談人工智能。我希望我們通過提出這個問題來探討：在社會相關的問題上，是存在單一目標還是多重目標？在強化通信或強化學習中，每個智能體都有自己的角色，因此每個智能體都有自己的目標，沒有內在的理由要求不同智能體的目標必須相同。

如果你觀察自然界，每個動物都有自己的痛苦和快樂，都有不同的目標。它們有共同的需求，也許是繁殖、照顧后代、獲取食物和住所。但它們并不扮演相同的角色，因為一個動物的食物與另一個動物的食物并不相同。對人來說也是如此。你的家庭不同于我的家庭，我們當然有共同點，但大家在很大程度上也擁有不同的目標。這些目標之間也許存在對稱性，比如我們都關心食物，都關心我們的家庭，但仍然不是同一個目標。

這種觀察和思考是很有趣的。經濟學家會告訴我們，當擁有不同目標、不同能力的人們進行合作、交換時，經濟體運行得最好，因此我們的經濟并不依賴于人們擁有共同目標。我們經常說，人們為了一個共同目標而努力。但令人驚奇的是，即使這種目標并不存在，人們仍然可以一起工作、和平相處。盡管我們想要的東西如此不同，合作對所有人而言仍然是有利的。

就此，我希望引入一些術語。我想談談“去中心化”，對社會而言，去中心化意味著存在許多智能體，每個都有其自身的目標。我認為這就是我們經濟體背后的基礎。它基于許多擁有各自目標的智能體，“合作”就是這些擁有不同目標的智能體為了互利而進行的互動，通過多次互動共同獲益。

我想指出的是，人類這種特殊的超能力就是合作。人類的合作程度遠高于任何其它物種，并且這種合作是由人類的獨特發明——語言和金錢——所促進。

人類最偉大的成功就是合作，例如我們的基金會、市場、政府和人文科學。人類最大的失敗也在于合作的失敗，例如戰爭。正如我所定義的，去中心化合作是“社會共同目標”的替代方案，它可能是一種更優雅、更可持續、更穩健、更有效且更靈活的，組織良好社會的方式。

人類比任何其它動物都更擅長合作，但我們仍然需要謹慎行事。我們仍然面臨著戰爭和饑荒，以及所有其它因合作失敗而產生的問題。所以我們努力達成合作。

但合作并非總是可行，它需要至少兩個值得信賴的智能體。而且不合作也總有好處，世上總是存在著威脅，比如武器制造商和獨裁者。因此，為了懲罰違規者以支持合作，我們需要制度。這些制度有時是中心化的，即使是希臘，也是用一種在某種程度上中心化的制度來執行政策、鼓勵合作。中心化的權威可以在短期內促進合作，但存在長期風險。如果我們的中心化制度變得專橫或低效，那就將成為阻礙。

所以我認為要點是，這兩種觀點——去中心化控制和去中心化合作——是對立的。這兩者之間的張力，以及在這個光譜上找到合適的位置，是我們這個時代的核心政治議題。

今天有許多要求對 AI 進行中心化控制的呼聲。有呼聲要求控制訪問，有呼聲要求暫停甚至停止 AI 研究，有呼聲限制 AI 可使用的計算能力，還有許多呼聲要求確保 AI 的“安全”，這通常意味著由某個中心化權威進行更嚴格的控制，并要求披露AI的開發者。我想從兩點來思考這些控制AI的呼聲與控制人類的呼聲之間的相似性。我們今天可以看到越來越多的這類呼聲：控制言論、控制媒體、控制貿易、控制人們可以在哪里工作、誰可以在不同地方工作、控制金融、控制人們的基本生活資料或金錢。還有關于經濟制裁的呼聲，這越來越多地意味著關稅。

這些要求對 AI 和人類進行中心化控制的呼聲，其論調驚人地相似，本質幾乎總是基于恐懼。他們談論“他者”，——AI 不像人類，或者其他國家不像我們。我們妖魔化對方，聲稱其他國家、其他民族不可信。我可以從西方視角、美國視角來說。他們會妖魔化中國，聲稱他們不可信，需要被懼怕。我相信中國人也同樣提防一些國家，比如說美國，在軍事領域尤其如此。

這些主張和恐懼的存在是正常現象，但我們應該意識到它們來自哪里。人類的繁榮，AI 也同樣適用。人類的繁榮來源于去中心化合作，人類對合作既擅長也不擅長。合作并非總是可能，但它是我們世界上所有美好事物的源泉——所有的技術、所有的安全、我們在經濟中享受的所有商品和服務——這一切都歸功于合作。

因此，我們必須尋求合作，尋求將其制度化的方式。同時，如果我們睜大眼睛生活，我認為很容易看出誰在鼓吹不信任——對 AI 和他人。是誰在說我們不需要與他人合作？誰在呼吁中心化控制？我們應該抵制這些呼吁，這是審視所有關于人類與 AI 互動的呼吁的有效視角。

何為人類？一個宇宙的視角

AI 在今天快速發展，并在可預見的未來愈發強大，我們該如何看待它？AI 是善是惡？我們應該害怕 AI 奪走我們的工作，讓我們變得過時嗎？還是說我們將與 AI 共生，人類會通過技術得到增強？這三種情況都可能會發生。我們應該對 AI 說，“嗨，外星入侵者”，還是其為“人類的孩子”？我們是哀嘆 AI 的飛速崛起，還是慶祝它的成就？

我認為我們都需要自己決定如何看待 AI。我不是來這里告訴你們應該如何思考的，我也不認為我們應該倉促地在今天決定我們對 AI 的態度。要如何看待 AI 的崛起，這個問題太重要了，不能盲目回答。我們需要思考它，并獲取各種視角。我感覺今天新聞中的視角都充滿了對 AI 的恐懼——AI 可能造成生存風險或者失去控制，而我們需要的，是一個平衡思考的過程。

你需要思考這個問題的另一面，所以我要主要提出一些緩解擔憂和認識到 AI 是件好事的途徑。我認為 AI 并非外來技術，事實上，它是人類最古老的追求之一。幾千年來，哲學家和智者一直試圖理解他們自己的心智，他們一直對自己內在的運作機制著迷。我們的心智如何運作？我們如何能讓它運作得更好？這是一個永恒的問題，也是一個偉大的追求。

我喜歡艾倫·凱的名言：“智能是宇宙中最強大的力量形式。”現在，我們正在理解這種偉大的強大力量，我們將能夠利用它造福人類。所以總結一下，我認為理解智能的努力，或者說理解智能本身，就是圣杯。它是科學和人文學科如此多領域的目的和目標，因為這將使我們理解自身的心智，這會是一座偉大而光榮的豐碑。至此，這是一個觀點。

現在讓我們試著現實一點，就像約翰·米爾斯海默在國際地緣政治上那樣現實，但這次是關于AI的現實主義。我們來預測一下，將會發生什么。由于我們不確定自己想要或不想要什么，有時只問“將會發生什么”是格外有用的。

總之，讓我列出四條關于 AI 的現實主義預測。

第一條：全世界對于 AI 應該如何發展沒有共識。存在許多觀點，許多強大的國家和帝國，但沒有人能真正將自己的意志強加于所有其他國家之上。這意味著，沒有哪個理事會、世界理事會或聯合國能就 AI 做出一個決定并在全世界實施。但即使沒有共識，AI 技術也會繼續發展。

第二條：終有一天，研究人員將足夠理解智能并創造相關技術。我不知道理解我們自己是否是件好事，但請記住我們的前提，我們應該在不關心自己想要什么的情況下進行預測。所以我認為，僅僅因為理解智能是一個重要課題，具有非常的價值，它的實現就是不可避免的。問題只在于時間，它會發生在本十年末、下一個十年，還是再下一個。

第三條：這個過程不會止步于當前人類的智能水平。我們要么迎來超級智能，要么迎來被技術極大增強的人類。無論如何，智能水平將很快超越當前人類的水平。

第四條：隨著時間的推移，這個社會中的權力和資源將流向最智能的存在。這種流動可能是漸進的，但趨勢如此。因此，我們應該思考這將導致什么，以及我們要如何看待 AI 的框架或參數。就像這張圖所暗示的，人類邁向 AI 的進程是不可避免地，我們甚至有可能成為名副其實的超級智能機器。

這是一個有效的視角，但它仍然相當以人類為中心。我想稍微退后一步，我們能否采取一種非人類中心的視角來看待當前正在發生的事情？如果我們只是觀察宇宙，仿佛置身事外地審視它，我們會看到什么？

當我這樣做時，我有了一個想法，即宇宙的四個偉大時代。粗略地說，我們現在正處于第三和第四時代之間的過渡期。

第一個時代是大爆炸之后的時代，那時幾乎沒有物質，只有粒子。在第二個時代，這些粒子在引力作用下坍縮聚集在一起，這就是恒星時代。在恒星內部，恒星核心的高熱和高壓下形成了比氫和氦更重的所有元素。然后恒星爆炸，這些元素被拋入星際空間。它們最終形成圍繞恒星運行的行星，于是我們進入了行星時代。

生命在行星上形成，它變得越來越復雜，從無性繁殖到有性繁殖，從沒有神經系統的生物到動物和人類，再到出現文化、語言、農業和書面文字。生命時代是一個誘人的名字，但我認為更準確的稱呼是“復制者時代”，因為生物系統是一個擁有遺傳程序的系統，它們通過運行這個程序，來制造自身的新副本。

因此生命可以復制自己，但我們這樣做時并不真正理解其原理。我們可以生孩子，可以復制生命，卻并不真正理解孩子的身體或心智如何工作。在第三個時代，自我復制的事物占據重要地位，在地球表面占據顯著地位。

現在我們正在轉變，我認為我們正在進入第四個偉大時代。有人可能稱其為“機器時代”，但我認為應該叫它“設計時代”。這個時代與之前的不同之處在于，此前我們世界上所有最重要的事物，都是根據一個程序（DNA）遺傳復制而來，沒有理解其原理。但在設計時代，我們擁有由人們設計并創造的技術、物品、工具和創造物。它們不像復制者那樣——你可以運行 DNA 程序來制造一個新副本，但你無法輕易地編輯和改變它。

隨著我們進入這個時代，設計的事物變得越來越重要。我們可以看到道路、城市、建筑和各種物品，環顧四周，你周圍的一切幾乎都是設計的，除了那些復制者。比如除了這個房間里的其他人之外，所有東西都是設計的。設計的事物開始在我們的生活中占據非常顯著的地位。

現在我希望處理一下術語問題。我說了大概 70 次 “生命時代”、“機器時代”，但我認為這些術語具有誤導性，因為我們的機器正變得越來越像生命，與此同時，生物系統越來越被被認為也是一種機器——生物機器。所以我認為，它們其實都是機器——生物機器、構造機器、設計機器。

真正的區別是什么？區別在于，生物系統是在沒有任何心智理解其工作原理的情況下被創造的。它們是在復制一個工程程序（DNA）。而技術產品首先是在某個設計者心智的想象中被創造出來，然后才存在于世界上。設計的事物，或者說機制，更容易被改進。所以就術語而言，“復制”和“設計”的區分是恰當的，這是思考宇宙第三和第四偉大時代的好方法。

許多非人類復制者也會設計。不僅僅是人類，許多其它動物也會制造東西，會在頭腦中進行構想然后制造出來。它們筑巢、挖洞。黑猩猩會剝去樹枝的側枝來釣白蟻，甚至烏鴉也會做類似的事情。用樹葉條覓食。當然人類走得更遠，人類制造了石斧，發明了農業。現在我們有了計算機和太空飛船工廠。另外我們還有軟件，有制造其它工具的工具。當我們談論編譯器，它不同于房子那樣的工具，實際上是一種用于制造房子，或設計其它事物的工具，一種制造其它工具或事物的工具。

那么現在，我們可以回答最初的問題了嗎？我們在宇宙中的角色是什么？

我們得到了這樣一個視角，即我們都感覺到自己是特殊的，人類是特殊的，但是人類的特殊在某種意義上只是程度問題。我們是將設計推向更高高度的復制者，而我必須要問，我們已經將設計推到極限了嗎？如果我們已經將設計推向其終極，那么在這個時代，這意味著什么？我認為它意味著，設計那些本身能夠設計事物的東西。這就是我們所處的階段，這就是我們正在做的事情。我們正在嘗試做 AI，我們正在嘗試設計那些本身能夠設計的東西。

所以最終的視角是，人類是催化劑、助產士、先驅者，我們履行了宇宙第四個偉大時代——設計時代的使命。這是一個重要的、偉大的角色。而我對這一切最終的總結是，這十年的 AI，人類數據的時代，進展非常順利。

雷峰網(公眾號：雷峰網)文章

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。