<mark id="oztn4"></mark>
0
| 本文作者： 鄭佳美 | 2026-02-09 18:24 | 專題：ICLR 2019 |
隨著大語言模型規(guī)模和預(yù)訓(xùn)練強(qiáng)度的不斷提升，強(qiáng)化學(xué)習(xí)在后訓(xùn)練階段的角色正在發(fā)生微妙變化。
一方面，它仍然是當(dāng)前提升模型推理能力和多步?jīng)Q策表現(xiàn)的關(guān)鍵技術(shù)手段；另一方面，越來越多的經(jīng)驗(yàn)性結(jié)果表明，在許多任務(wù)上，強(qiáng)化學(xué)習(xí)帶來的性能提升往往難以與“新能力的形成”直接劃等號。
尤其是在 pass@k 等評測指標(biāo)下，強(qiáng)化學(xué)習(xí)模型與基礎(chǔ)模型之間的差距常常隨著采樣數(shù)的增加而迅速縮小，這使得一種觀點(diǎn)逐漸占據(jù)上風(fēng)：強(qiáng)化學(xué)習(xí)可能更多是在對模型內(nèi)部已有解法進(jìn)行篩選和重排，而非真正拓展模型的能力邊界。
問題在于，這一判斷本身并不容易被驗(yàn)證或反駁。自然語言任務(wù)中，技能邊界高度交織，模型在預(yù)訓(xùn)練階段所接觸的數(shù)據(jù)分布幾乎無法完全排除，使得性能變化很難被明確歸因于能力結(jié)構(gòu)的改變。在這樣的環(huán)境下，關(guān)于強(qiáng)化學(xué)習(xí)是否“教會模型新能力”的討論，往往停留在指標(biāo)層面的解釋差異，而缺乏一個能夠清晰刻畫技能、控制任務(wù)難度并排除干擾因素的實(shí)驗(yàn)基礎(chǔ)。
正是在這樣的背景下，清華大學(xué)的孫茂松、劉知遠(yuǎn)團(tuán)隊(duì)提出了《From f(x) and g(x) to f(g(x)): LLMs Learn New Skills in RL by Composing Old Ones》這項(xiàng)研究。
與其繼續(xù)在復(fù)雜的自然語言任務(wù)中爭論強(qiáng)化學(xué)習(xí)是否“有效”，研究團(tuán)隊(duì)選擇退回到一個更可控的實(shí)驗(yàn)環(huán)境，轉(zhuǎn)而聚焦一個更基礎(chǔ)也更根本的問題：強(qiáng)化學(xué)習(xí)究竟能否教會模型此前并不具備的新能力？如果可以，這些新能力具體是什么，在什么條件下才能被學(xué)習(xí)到，又是否具有跨任務(wù)的泛化性。
在這一問題框架下，研究并未將注意力放在某一具體性能指標(biāo)的提升上，而是假設(shè)模型已經(jīng)掌握了一組基本的原子技能，進(jìn)一步考察強(qiáng)化學(xué)習(xí)是否能夠推動模型形成新的能力結(jié)構(gòu)，使其學(xué)會系統(tǒng)性地組合這些技能，從而解決更高難度、甚至分布外任務(wù)中的問題。正是出于對這些問題的系統(tǒng)性考察需求，研究者才設(shè)計(jì)了這一高度可控的實(shí)驗(yàn)環(huán)境。
論文地址：https://arxiv.org/pdf/2509.25123
研究的實(shí)驗(yàn)結(jié)果表明，在合適的激勵條件下，強(qiáng)化學(xué)習(xí)能夠使大語言模型獲得此前并不存在的新能力，而不僅僅是對已有答案進(jìn)行重排。
這種新能力具體體現(xiàn)為一種系統(tǒng)性的技能組合能力，即模型能夠?qū)⒁呀?jīng)掌握的原子技能按照結(jié)構(gòu)化方式進(jìn)行組合，并將這一組合策略泛化到更高難度的問題，甚至遷移到完全不同的任務(wù)中。
研究中通過設(shè)計(jì) 20 余個“非常規(guī)”字符串操作函數(shù)，將「函數(shù)結(jié)果預(yù)測」作為任務(wù)。為徹底排除預(yù)訓(xùn)練語料污染及模型語義聯(lián)想（即根據(jù)函數(shù)名盲猜代碼邏輯）的影響，所有函數(shù)均采用隨機(jī)命名的無意義字符串。研究核心在于對比以下兩種能力：
原子能力：指模型在不依賴 Prompt 中函數(shù)定義的前提下，準(zhǔn)確預(yù)測單一函數(shù)f(x)輸出的能力。
組合能力：指模型預(yù)測多層復(fù)合函數(shù)（如 f(g(x))）執(zhí)行結(jié)果的能力。
由于函數(shù)隨機(jī)命名，沒有模型具備該任務(wù)的原子能力。因此為了單獨(dú)訓(xùn)練模型在該任務(wù)上的原子能力，在數(shù)據(jù)收集階段，研究者首先在 Prompt 中提供明確的函數(shù)定義以及單函數(shù)的輸出預(yù)測題目，獲取模型生成的思維鏈與預(yù)測結(jié)果，且僅保留正確樣本。
隨后在 SFT（監(jiān)督微調(diào)）階段，研究者移除了 Prompt 中的函數(shù)定義，讓模型學(xué)習(xí)原本的思維鏈與預(yù)測結(jié)果。通過這種訓(xùn)練方式，模型被強(qiáng)制將函數(shù)邏輯內(nèi)化至參數(shù)空間，從而在不查閱定義的情況下掌握“原子能力”，為后續(xù)評估復(fù)雜的“組合能力”奠定基礎(chǔ)。
研究人員在對擁有了原子能力的SFT模型進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，通過改變強(qiáng)化學(xué)習(xí)階段提供的題目難度（僅單函數(shù)、僅二層嵌套函數(shù)、單函數(shù)與二層嵌套函數(shù)混合），觀察模型在三層、四層乃至更深層次的組合問題上的測試性能（這些問題在訓(xùn)練中從未出現(xiàn)過，且所涉及的原子函數(shù)本身也未在強(qiáng)化學(xué)習(xí)階段見過），研究人員發(fā)現(xiàn)僅在單函數(shù)上進(jìn)行強(qiáng)化學(xué)習(xí)的模型，在三層及以上組合任務(wù)上的準(zhǔn)確率幾乎為零，而一旦訓(xùn)練數(shù)據(jù)中包含最基礎(chǔ)的二層嵌套函數(shù)，模型在三層組合上的準(zhǔn)確率可提升至約 30%，在四層組合上仍保持約 15%，并在更高層級上持續(xù)顯著優(yōu)于隨機(jī)水平。
這表明模型并非依賴偶然猜測或記憶模板，而是學(xué)會了一種可遞歸使用的組合策略；如果強(qiáng)化學(xué)習(xí)僅僅激活或重排已有推理模式，這種隨組合深度增加仍能發(fā)揮作用的行為是難以解釋的。
進(jìn)一步的對照實(shí)驗(yàn)顯示，僅提供組合訓(xùn)練數(shù)據(jù)并不足以產(chǎn)生這種能力。研究團(tuán)隊(duì)在完全相同的二層組合數(shù)據(jù)上，用監(jiān)督學(xué)習(xí)替代強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，發(fā)現(xiàn)這個模型在三層組合任務(wù)上的準(zhǔn)確率始終處于極低水平，甚至在同一難度但函數(shù)不同的二層組合測試中也表現(xiàn)不穩(wěn)定。
相比之下，強(qiáng)化學(xué)習(xí)模型不僅能夠穩(wěn)定解決二層組合問題，還能系統(tǒng)性地外推到更深層的組合任務(wù)，說明真正起關(guān)鍵作用的是強(qiáng)化學(xué)習(xí)所引入的結(jié)果驅(qū)動、探索機(jī)制與策略更新過程，它們共同促使模型形成新的推理結(jié)構(gòu)。
研究還通過跨任務(wù)實(shí)驗(yàn)驗(yàn)證了這種組合能力的通用性：如果模型在A、B任務(wù)上學(xué)習(xí)了原子能力，僅在A任務(wù)上進(jìn)行合適的組合能力強(qiáng)化學(xué)習(xí)，模型就能將該能力泛化至B任務(wù)上。在SFT階段，除了先前提及的函數(shù)輸出預(yù)測任務(wù)，研究人員混入了另一個任務(wù)，Countdown任務(wù)的SFT數(shù)據(jù)，以使得模型同樣具備Countdown任務(wù)的原子能力。而在強(qiáng)化學(xué)習(xí)階段，仍然只在包含二層嵌套函數(shù)的輸出預(yù)測任務(wù)上進(jìn)行強(qiáng)化學(xué)習(xí)。
測試結(jié)果顯示，盡管未在Countdown任務(wù)上進(jìn)行強(qiáng)化學(xué)習(xí)，僅在復(fù)合函數(shù)輸出預(yù)測上進(jìn)行強(qiáng)化學(xué)習(xí)后的模型在多步Countdown任務(wù)上的表現(xiàn)也取得了明顯提升。這表明強(qiáng)化學(xué)習(xí)獲得的并非特定于字符串任務(wù)的技巧，而是一種能夠組織和調(diào)度已有原子技能的通用能力，即一種元技能。然而，這一遷移也是有條件的，在其他任務(wù)上學(xué)到的組合能力并不能泛化到模型不具備原子能力的任務(wù)上，即SFT階段如果未學(xué)習(xí)Countdown的原子能力，模型在強(qiáng)化學(xué)習(xí)后無法完成Countdown任務(wù)。
針對“強(qiáng)化學(xué)習(xí)只是將 pass@k 壓縮為 pass@1”的觀點(diǎn)，研究人員進(jìn)一步分析了不同難度任務(wù)下的表現(xiàn)差異，發(fā)現(xiàn)這個現(xiàn)象主要出現(xiàn)在簡單問題中。在低難度任務(wù)上，基礎(chǔ)模型本就能夠通過多次采樣得到正確答案，強(qiáng)化學(xué)習(xí)的作用確實(shí)主要體現(xiàn)為重排。
而在高難度組合任務(wù)中，基礎(chǔ)模型即使在極大采樣預(yù)算下仍表現(xiàn)不佳，強(qiáng)化學(xué)習(xí)模型的優(yōu)勢卻隨著采樣數(shù)增加而不斷擴(kuò)大。研究團(tuán)隊(duì)據(jù)此指出，這種“強(qiáng)化學(xué)習(xí)只是重排”的結(jié)論在一定程度上是一種評測假象。
最后，錯誤類型分析表明，強(qiáng)化學(xué)習(xí)帶來的變化并不僅體現(xiàn)在準(zhǔn)確率上，而是體現(xiàn)在模型行為結(jié)構(gòu)的根本轉(zhuǎn)變上。基礎(chǔ)模型、監(jiān)督學(xué)習(xí)模型以及僅進(jìn)行原子強(qiáng)化學(xué)習(xí)訓(xùn)練的模型，其主要錯誤來源于忽略組合結(jié)構(gòu)或誤解嵌套關(guān)系。
而經(jīng)過組合任務(wù)強(qiáng)化學(xué)習(xí)訓(xùn)練的模型，其錯誤更多來自原子步驟的執(zhí)行失誤，而非對整體組合結(jié)構(gòu)的誤解。這說明強(qiáng)化學(xué)習(xí)首先教會模型正確理解和執(zhí)行組合結(jié)構(gòu)，即使失敗，也失敗在更低層級，從而體現(xiàn)出一種認(rèn)知層面的變化。
為了保證研究結(jié)論具有高度可信性，研究團(tuán)隊(duì)在實(shí)驗(yàn)設(shè)計(jì)上進(jìn)行了近乎教科書級的嚴(yán)格控制。
研究人員沒有直接采用自然語言任務(wù)，而是選擇了字符串變換函數(shù)作為研究載體，主要原因在于自然語言任務(wù)中技能邊界往往模糊不清，模型表現(xiàn)容易受到預(yù)訓(xùn)練語料的潛在污染，同時(shí)也難以明確判斷模型究竟學(xué)會了何種能力。雷峰網(wǎng)
相比之下，字符串變換函數(shù)具有行為完全確定、復(fù)雜度可以被嚴(yán)格控制以及能夠人為構(gòu)造模型在預(yù)訓(xùn)練階段幾乎不可能接觸過的任務(wù)等優(yōu)勢，從而為分析強(qiáng)化學(xué)習(xí)是否產(chǎn)生新能力提供了一個干凈且可控的實(shí)驗(yàn)環(huán)境。
在這一框架下，研究人員對“技能”給出了清晰而可操作的定義。原子技能被定義為在給定輸入的情況下，模型能夠正確預(yù)測單個函數(shù)作用后的輸出，而組合技能則指模型在面對嵌套函數(shù)時(shí)，能夠正確推斷多個函數(shù)順序作用后的最終結(jié)果。技能難度由函數(shù)嵌套的深度直接刻畫，這使得“新技能”不再是抽象或主觀的概念，而成為可以被精確檢驗(yàn)和逐層分析的研究對象。
在訓(xùn)練流程上，研究團(tuán)隊(duì)采用了兩階段設(shè)計(jì)，刻意將“掌握單個技能”和“學(xué)會組合技能”這兩個過程分離。第一階段使用監(jiān)督學(xué)習(xí)訓(xùn)練模型，使其充分掌握每一個字符串變換函數(shù)的具體行為，這一階段僅進(jìn)行一次，用于建立穩(wěn)定的原子技能基礎(chǔ)。
第二階段則完全隱藏函數(shù)定義，僅向模型提供函數(shù)名稱和輸入字符串，從而迫使模型要么真正理解并正確組合已掌握的原子技能，要么在任務(wù)中失敗。在這一階段中，研究人員系統(tǒng)比較了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩種訓(xùn)練方式，其中強(qiáng)化學(xué)習(xí)只提供基于最終結(jié)果正確與否的獎勵信號，用以檢驗(yàn)不同訓(xùn)練機(jī)制對組合能力學(xué)習(xí)的影響。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
在評測方法上，研究團(tuán)隊(duì)沒有依賴單一的整體指標(biāo)，而是從多個維度對模型能力進(jìn)行分析。他們通過測試新函數(shù)的組合能力排除了簡單記憶的可能，通過更深層次的函數(shù)嵌套考察模型是否形成了可泛化的組合策略，并通過跨任務(wù)遷移實(shí)驗(yàn)檢驗(yàn)?zāi)Ｐ褪欠駜H對特定任務(wù)產(chǎn)生適應(yīng)。
結(jié)合不同難度下的準(zhǔn)確率、不同采樣預(yù)算下的 pass@k 表現(xiàn)以及錯誤類型的細(xì)致分析，研究人員構(gòu)建了一條完整而自洽的證據(jù)鏈，從多個角度支撐了其關(guān)于強(qiáng)化學(xué)習(xí)技能獲取機(jī)制的結(jié)論。
這項(xiàng)研究的意義遠(yuǎn)不止于在字符串任務(wù)上取得了具體實(shí)驗(yàn)結(jié)果，更在于其對當(dāng)前大語言模型強(qiáng)化學(xué)習(xí)研究中的核心爭論給出了實(shí)質(zhì)性回應(yīng)。
圍繞“強(qiáng)化學(xué)習(xí)是否能夠教會大語言模型新的能力”這一問題，研究團(tuán)隊(duì)并未給出簡單的肯定或否定答案，而是提出了一個條件化結(jié)論，即強(qiáng)化學(xué)習(xí)確實(shí)能夠促使模型獲得新的能力，但前提在于模型已經(jīng)具備完成任務(wù)所需的原子技能，同時(shí)訓(xùn)練任務(wù)的設(shè)計(jì)能夠真實(shí)地激勵模型去使用并發(fā)展這種新能力。這種表述超越了以往非黑即白的討論方式，使相關(guān)爭論在概念上更加精細(xì)和成熟。
在此基礎(chǔ)上，研究還為大語言模型的訓(xùn)練流程提供了一種具有啟發(fā)性的技能分工范式。研究人員隱含提出，預(yù)訓(xùn)練或監(jiān)督微調(diào)階段的核心作用在于幫助模型掌握基本操作和原子能力，而強(qiáng)化學(xué)習(xí)更適合用于學(xué)習(xí)如何組織和調(diào)度這些已有能力，從而形成更高層次的推理和決策結(jié)構(gòu)。這一訓(xùn)練思路與人類技能學(xué)習(xí)理論高度一致，也為當(dāng)前圍繞強(qiáng)化學(xué)習(xí)價(jià)值的分歧提供了一個清晰的實(shí)踐方向。
此外，這項(xiàng)研究首次使跨任務(wù)泛化這一長期存在但缺乏解釋的問題變得更加可理解。研究結(jié)果表明，模型在不同任務(wù)之間表現(xiàn)提升的根本原因并非知識層面的直接遷移，而是技能結(jié)構(gòu)層面的遷移，即模型學(xué)會了一種更通用的能力組織方式，從而能夠在新的任務(wù)中更有效地利用已有的原子技能。這一視角為理解多種先進(jìn)大語言模型在不同領(lǐng)域中展現(xiàn)出的泛化能力提供了重要的分析框架。
這篇論文的一作是袁立凡，目前為伊利諾伊大學(xué)香檳分校博士研究生，師從彭昊教授。在此之前，他曾在清華大學(xué)自然語言處理實(shí)驗(yàn)室開展研究工作，與劉知遠(yuǎn)教授等合作，積累了扎實(shí)的大規(guī)模語言模型研究基礎(chǔ)，并與紀(jì)恒教授團(tuán)隊(duì)保持學(xué)術(shù)合作。
其研究興趣主要集中于大語言模型的反饋學(xué)習(xí)與強(qiáng)化學(xué)習(xí)、可擴(kuò)展數(shù)據(jù)合成方法以及可自我進(jìn)化的人工智能系統(tǒng)設(shè)計(jì)，致力于通過高質(zhì)量反饋和環(huán)境交互提升模型的推理能力、對齊性與可靠性。
在相關(guān)方向上，他作為作者在 ICLR、ICML 等國際頂級會議及 arXiv 上發(fā)表多項(xiàng)研究成果，提出并參與構(gòu)建了 UltraFeedback、Eurus 等具有影響力的數(shù)據(jù)集與方法，對推動大模型訓(xùn)練范式和反饋增強(qiáng)學(xué)習(xí)研究產(chǎn)生了積極影響。
參考鏈接：https://lifan-yuan.github.io/
論文的另一位一作為陳緯澤，目前在清華大學(xué)自然語言處理實(shí)驗(yàn)室攻讀計(jì)算機(jī)科學(xué)與技術(shù)博士，師從劉知遠(yuǎn)教授。
陳緯澤的主要研究興趣涵蓋大規(guī)模語言模型、智能代理系統(tǒng)、多智能體協(xié)作學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)與獎勵建模等領(lǐng)域，尤其關(guān)注如何提升語言模型在復(fù)雜任務(wù)推理、協(xié)作與可推廣性方面的能力。
他在構(gòu)建增強(qiáng)型 LLM 基礎(chǔ)架構(gòu)、獎勵建模（Reward Modeling）、多智能體系統(tǒng)優(yōu)化、難度感知訓(xùn)練等方向取得了一系列重要成果，并積極參與多項(xiàng)領(lǐng)先的研究項(xiàng)目，在推動語言模型性能效率與泛化能力提升方面做出了貢獻(xiàn)。
作為主要作者或共同作者，陳緯澤在自然語言處理與人工智能領(lǐng)域的頂級會議與期刊（如 ACL、Findings of ACL 等）上發(fā)表了多篇具有影響力的論文，他的研究成果廣泛被引用，涉及強(qiáng)化學(xué)習(xí)優(yōu)化、多智能體協(xié)作策略、獎勵模型構(gòu)建等前沿課題，為推動 LLM 在復(fù)雜協(xié)作與學(xué)習(xí)任務(wù)中的廣泛應(yīng)用提供了理論與實(shí)踐支持。
參考鏈接：https://weizechen.com/
論文的通訊錄作者為劉知遠(yuǎn)，他是清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授、博士生導(dǎo)師，，兼任中國中文信息學(xué)會理事、社會媒體處理專委會副主任等學(xué)術(shù)職務(wù)。
劉知遠(yuǎn)分別于 2006 年、 2011 年于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲得學(xué)士、博士學(xué)位，并在清華大學(xué)開展博士后研究，后留校任教。其主要研究方向包括大模型技術(shù)、自然語言處理、知識圖譜與語義計(jì)算以及社會計(jì)算等核心領(lǐng)域。
劉知遠(yuǎn)在國際主流學(xué)術(shù)會議和期刊（如Nature Machine Intelligence、ACL、EMNLP、IJCAI 和 AAAI）上發(fā)表了 200 余篇論文，其 Google Scholar 引用量超過 7 萬次，反映出廣泛的學(xué)術(shù)影響力。
他在多項(xiàng)國家級科研項(xiàng)目中擔(dān)任負(fù)責(zé)人或主要參與者，曾獲教育部自然科學(xué)一等獎、中國中文信息學(xué)會錢偉長中文信息處理科學(xué)技術(shù)獎一等獎、世界互聯(lián)網(wǎng)領(lǐng)先科技成果獎、北京市青年教學(xué)名師獎等多項(xiàng)科研獎勵，并入選包括國家青年人才計(jì)劃、Elsevier 中國高被引學(xué)者、《麻省理工科技評論》中國區(qū)“35 歲以下科技創(chuàng)新 35 人榜單”及中國科協(xié)青年人才托舉工程等人才項(xiàng)目。
參考地址：https://nlp.csai.tsinghua.edu.cn/~lzy/zh.html
另一位通訊錄作者為丁寧，他是清華大學(xué)電子工程系的助理教授、博士生導(dǎo)師，研究橫跨自然語言處理、機(jī)器學(xué)習(xí)與人工智能等核心領(lǐng)域。
他的主要研究方向是通用智能與推理能力的理論、算法和系統(tǒng)設(shè)計(jì)，特別關(guān)注如何通過強(qiáng)化學(xué)習(xí)、反饋機(jī)制和可擴(kuò)展學(xué)習(xí)方法提升大規(guī)模語言模型和智能系統(tǒng)的推理能力與探索學(xué)習(xí)能力，同時(shí)探索這些技術(shù)在科學(xué)發(fā)現(xiàn)和復(fù)雜任務(wù)中的應(yīng)用。
在學(xué)術(shù)貢獻(xiàn)上，丁寧已在諸如 Nature Machine Intelligence、ICLR、NeurIPS、ICML、ACL 等國際頂級會議和期刊上發(fā)表多篇高引用論文，其谷歌學(xué)術(shù)引用量超過一萬次。
丁寧曾入選中國科協(xié)青年人才托舉工程，并榮獲包括 ACL 最佳系統(tǒng)演示論文獎、世界人工智能大會青年優(yōu)秀論文獎、中國算力大會最佳學(xué)術(shù)論文獎、清華大學(xué)優(yōu)秀博士論文獎等多項(xiàng)重要榮譽(yù)。
參考鏈接：https://www.stingning.cn
第三位通訊錄作者為崔淦渠，目前在上海人工智能實(shí)驗(yàn)室擔(dān)任青年科學(xué)家，并于清華大學(xué)自然語言處理實(shí)驗(yàn)室獲得計(jì)算機(jī)科學(xué)與技術(shù)博士學(xué)位，導(dǎo)師為劉知遠(yuǎn)教授。
崔淦渠的研究方向主要包括大規(guī)模語言模型對齊、強(qiáng)化學(xué)習(xí)，同時(shí)他也早期從事圖神經(jīng)網(wǎng)絡(luò)及其在圖表示學(xué)習(xí)中的應(yīng)用研究。
他還積極推進(jìn)開源項(xiàng)目和工具的建設(shè)，并因在語言模型強(qiáng)化學(xué)習(xí)與對齊領(lǐng)域的突出貢獻(xiàn)獲得包括 WAIC 云帆新星獎、國家自然科學(xué)基金資助與清華優(yōu)秀博士論文獎等多項(xiàng)榮譽(yù)。
參考鏈接：https://cgq15.github.io
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
