<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-06-23 18:25 |
作者丨PrismShadow AI
編輯丨岑峰
01
想象一下，你有一個(gè)新入職的員工。他一開始什么都不會(huì)，需要你手把手教。但幾周后，他開始自己總結(jié)經(jīng)驗(yàn)、優(yōu)化工作流程，甚至能獨(dú)立應(yīng)對(duì)從未見過的新問題。
如果把這個(gè)場(chǎng)景里的員工換成AI，這就是眼下人工智能領(lǐng)域最前沿、也最令人興奮的方向：自進(jìn)化Agent（Self-evolving Agent）。
先說一句這兩年在 AI 圈被反復(fù)驗(yàn)證的“鐵律”：在 AI 時(shí)代，一件事一旦能被清晰地評(píng)估、又能被自動(dòng)化地去做，那它離被做到極致就不遠(yuǎn)了。圍棋是這樣，寫代碼是這樣，做數(shù)學(xué)題也是這樣——只要有一把靠譜的尺子，模型就能順著這把尺子一路爬到頂。自進(jìn)化Agent做的，就是這樣的事情。
那么下一個(gè)被這把尺子盯上的，是什么？
越來越多人把答案押在了自進(jìn)化（Self-evolution）上。所謂自進(jìn)化，說白了就是 Agent 能像人一樣“越干越熟練”：做完一批任務(wù)，它會(huì)自己總結(jié)經(jīng)驗(yàn)、更新內(nèi)部狀態(tài)，下次遇到相似的活兒，干得更準(zhǔn)、更快、更省。學(xué)術(shù)上和它沾親帶故的概念還有持續(xù)學(xué)習(xí)（Continual Learning）和遞歸自我改進(jìn)（Recursive Self-Improvement，RSI）。
這件事為什么現(xiàn)在這么火？因?yàn)樗林辛水?dāng)前 Agent 最別扭的一個(gè)點(diǎn)：今天的 Agent 大多是“一次性”的——這一單做得再漂亮，經(jīng)驗(yàn)也帶不到下一單去，每次都從零開始。而自進(jìn)化想做的，是讓 Agent 真正“長記性”。資本已經(jīng)先一步用腳投票了：圍繞 AI 自進(jìn)化的創(chuàng)業(yè)公司，比如 [NeoCognition](https://neocognition.io/)、[Recursive](https://www.recursive.com/) 等，在 2026 年募到了數(shù)十億美元的資金。
但這里有個(gè)被很多人跳過的前提：想優(yōu)化自進(jìn)化，你得先能測(cè)量自進(jìn)化。 回到開頭那條鐵律——如果連“這個(gè) Agent 到底有沒有進(jìn)化、進(jìn)化了多少”都說不清，那后面所有“更強(qiáng)的進(jìn)化策略”都是空中樓閣。這正是我們想動(dòng)手解決的地方。
02
評(píng)估聽起來簡(jiǎn)單，真到了企業(yè)場(chǎng)景就處處是坑。發(fā)票審核、展會(huì)事務(wù)、保險(xiǎn)合規(guī)、信貸審批……這些“值錢的活兒”（和 GDP 直接掛鉤）有幾個(gè)共同特點(diǎn)：規(guī)則又多又碎、藏在一堆上下文里、還經(jīng)常需要把好幾條規(guī)則揉在一起判斷。偏偏就是這類任務(wù)，幾乎沒有專門的基準(zhǔn)能評(píng)估 Agent 的自進(jìn)化能力，更別提自動(dòng)化地評(píng)估了。
更要命的是評(píng)估自進(jìn)化時(shí)一個(gè)繞不開的陷阱：在測(cè)試集上訓(xùn)練。如果你拿去“喂經(jīng)驗(yàn)”的訓(xùn)練樣本和最后考核的測(cè)試樣本長得太像，那 Agent 只要把答案背下來就能拿高分——這壓根不是進(jìn)化，是作弊。一把會(huì)被輕易糊弄的尺子，比沒有尺子還危險(xiǎn)。
于是我們做了 GDPevo。據(jù)我們所知，這是第一個(gè)在具有真實(shí)經(jīng)濟(jì)價(jià)值（GDP 相關(guān)）的任務(wù)上、專門評(píng)估 Agent 自進(jìn)化能力的基準(zhǔn)。
它有兩個(gè)身份：既是一套自動(dòng)化的基準(zhǔn)構(gòu)建流程，又是這套流程跑出來的產(chǎn)物——一份開箱即用的基準(zhǔn)。目前它覆蓋客戶關(guān)系管理（CRM）、企業(yè)資源計(jì)劃（ERP）和金融（Finance）三大場(chǎng)景，一共 120 個(gè)真實(shí)企業(yè)任務(wù)。每個(gè)任務(wù)都纏著好幾條復(fù)雜規(guī)則，Agent 必須先從過往樣本里“學(xué)到東西、改進(jìn)自己”，才有可能答得讓人滿意。
03
構(gòu)建一個(gè)企業(yè)級(jí)的自進(jìn)化基準(zhǔn)，我們主要跟兩個(gè)硬骨頭死磕。
難點(diǎn)一：讓 AI 來造題，跑贏“數(shù)據(jù)泄露”
第一個(gè)想法是——構(gòu)建過程必須能端到端全自動(dòng)。人只負(fù)責(zé)設(shè)計(jì)一遍流程，剩下沒完沒了地跑流程、出題、批改，全交給 AI（這套思路和 [Loop Engineering](https://addyosmani.com/blog/loop-engineering/) 是一脈相承的）。
這么做有兩個(gè)實(shí)打?qū)嵉暮锰帯Ｆ湟?，?/span>跑贏數(shù)據(jù)泄露：基準(zhǔn)這東西最怕被模型“背”過去，但只要我們出新題的速度比模型記住泄露答案的速度快，基準(zhǔn)就永遠(yuǎn)領(lǐng)先半步、永遠(yuǎn)有效。其二，可擴(kuò)展（Scalable）：基準(zhǔn)的大小不再被人力卡脖子，它能自己往大里長。
GDPevo 數(shù)據(jù)流水線：從種子場(chǎng)景 → 多 Agent 任務(wù)工廠 → 質(zhì)量審核 → 發(fā)布
具體怎么跑（見上圖）：人設(shè)計(jì)流程，Agent 持續(xù)不斷地執(zhí)行。我們先從公開的真實(shí)業(yè)務(wù)基準(zhǔn)里取種子場(chǎng)景——[GDPval](https://arxiv.org/abs/2510.04374)、[SOP-Bench](https://arxiv.org/abs/2506.08119)、[JobBench](https://arxiv.org/abs/2605.26329)，再批量生成候選任務(wù)組。每個(gè)任務(wù)組會(huì)搭一個(gè)共享環(huán)境，配 5 個(gè)訓(xùn)練樣本 + 5 個(gè)測(cè)試樣本，每個(gè)樣本都自帶一份基于規(guī)則的評(píng)分腳本。接著，一個(gè)專門的 Agent 來校準(zhǔn)難度，確?！斑M(jìn)化后”的表現(xiàn)明顯高于“進(jìn)化前”——把那些根本測(cè)不出進(jìn)化能力的樣本篩掉，讓基準(zhǔn)聚焦在真正需要跨任務(wù)自我進(jìn)化的活兒上。
最后，6 個(gè)互相獨(dú)立的 Reviewer Agent 端到端審計(jì)每一組數(shù)據(jù)，至少拿到 5 票通過才會(huì)被采用。這些 Reviewer 的存在就是為了防止造題的 Agent 偷懶——檢查文件結(jié)構(gòu)全不全、該藏的規(guī)則有沒有真的埋進(jìn)去。一路篩下來，最終 12 個(gè)任務(wù)組、120 個(gè)任務(wù)通過了考驗(yàn)，組成了今天的這套基準(zhǔn)。
難點(diǎn)二：用“規(guī)則雜交”逼出真本事，而不是死記硬背
第二個(gè)硬骨頭，就是前面提到的“在測(cè)試集上訓(xùn)練”陷阱。訓(xùn)練集和測(cè)試集得有關(guān)聯(lián)，但又不能太像——理想狀態(tài)是：Agent 能把訓(xùn)練集里的規(guī)則泛化到測(cè)試集，而不是把訓(xùn)練集背下來。
我們的解法叫規(guī)則雜交，靈感來自遺傳算法里的交叉進(jìn)化。做法分兩步：
第一步，把規(guī)則拆碎、藏進(jìn)訓(xùn)練集。 我們先把復(fù)雜的業(yè)務(wù)邏輯拆成一條條“元規(guī)則”，再分散藏到訓(xùn)練樣本里。比如在 CRM 里，我們會(huì)埋下“贊助商身份的優(yōu)先級(jí)”和“黑名單策略”；在 ERP 里，則藏進(jìn)“供應(yīng)商風(fēng)控規(guī)則”和對(duì)應(yīng)的應(yīng)對(duì)措施。關(guān)鍵在于——這些規(guī)則被打散到 5 個(gè)訓(xùn)練樣本中，每個(gè)樣本只露出一部分。
第二步，把規(guī)則重新組合成測(cè)試題。 5 個(gè)測(cè)試樣本被設(shè)計(jì)成這些規(guī)則的組合，比如讓“優(yōu)先級(jí)”和“黑名單”同時(shí)觸發(fā)。這樣一來：沒有自進(jìn)化能力的 Agent，只能看到一地散落的碎規(guī)則、拼不出全貌；而真正會(huì)自進(jìn)化的 Agent，能把這些碎片歸納成規(guī)律、再遷移到全新的任務(wù)上。一道題，就把“背答案”和“學(xué)規(guī)則”分得清清楚楚。
04
評(píng)估環(huán)節(jié)，我們守兩條規(guī)矩：分?jǐn)?shù)必須可復(fù)現(xiàn)；成本和準(zhǔn)確率，一樣重要。
規(guī)矩一：規(guī)則打分，不用 LLM-as-a-Judge
GDPevo 用的是確定性的規(guī)則打分器，而不是讓一個(gè)大模型來當(dāng)裁判（LLM-as-a-Judge）。每個(gè)分?jǐn)?shù)都由多個(gè)具體的打分點(diǎn)（rubrics）拼成。這帶來兩個(gè)好處：第一，分?jǐn)?shù)是可復(fù)現(xiàn)的——同一份答案跑十遍，得分都一樣；第二，每一次失敗都是可追溯的——你看到的不是一句含糊的“總體還行”，而是清清楚楚地告訴你哪條規(guī)則沒過、扣了幾分。
這種可追溯性，直接把基準(zhǔn)變成了一個(gè) Agent 診斷工具。你可以反過來讀 Agent 的操作記錄，定位它到底栽在哪一步，再拿這些短板當(dāng)作下一輪優(yōu)化的靶子。
規(guī)矩二：成本和準(zhǔn)確率，同等重要
一個(gè)好的自進(jìn)化策略，不該只是“越來越準(zhǔn)”，還得“越來越省”——就像一個(gè)人活兒越干越熟，時(shí)間更短、效果更好。所以每次測(cè)試，我們都會(huì)同時(shí)記錄總 Token 消耗和任務(wù)準(zhǔn)確率兩筆賬。詳細(xì)的過程日志還能幫我們復(fù)盤 Agent 的行為、定位問題，反哺策略優(yōu)化。
極高易用性：一句話就能跑評(píng)估，不用學(xué)任何框架
整個(gè)評(píng)估不依賴任何評(píng)估 SDK，是純自然語言驅(qū)動(dòng)的。你用 Claude Code 或 Codex 打開一個(gè)評(píng)估工作區(qū)（其實(shí)就是個(gè)裝著 Markdown 指南和說明的文件夾），然后用自然語言描述一句“我要跑什么實(shí)驗(yàn)、想要什么樣的圖”，整套評(píng)估流程就能自動(dòng)跑完、直接吐出結(jié)果報(bào)告和圖表——全程不用寫一行適配代碼，也不用啃任何框架文檔。
05
我們?cè)?12 個(gè)任務(wù)組、共 120 個(gè)任務(wù)上，測(cè)了三個(gè)不同的 Agent。每個(gè)任務(wù)跑 3 遍取平均，對(duì)比三種方案：
base（不進(jìn)化）：Agent 不碰訓(xùn)練集，直接上手做測(cè)試題。
fewshot（少樣本進(jìn)化，類似 SFT）：Agent 先把訓(xùn)練集的題目和標(biāo)準(zhǔn)答案過一遍、歸納經(jīng)驗(yàn)，再去做測(cè)試題。
reflect（反思進(jìn)化，類似 RL）：Agent 先不看答案、自己硬做訓(xùn)練題，然后被告知對(duì)錯(cuò)，借此反思總結(jié)出規(guī)則，再去做測(cè)試題。
三個(gè) Agent 給出了高度一致的結(jié)論：自進(jìn)化能把測(cè)試集準(zhǔn)確率提升約 17–22%，而且其中兩個(gè) Agent（Claude Code 和 Codex）連 Token 消耗都更低了——又準(zhǔn)又省，魚和熊掌兼得。
幾個(gè)亮眼的單點(diǎn)，拿“運(yùn)營建模（operational financial modeling）”這個(gè)場(chǎng)景舉例：Codex 從 42.76% 飆到 92.47%，花的 token 還比基線少；Claude Code 的 fewshot 直接干到 100%（起點(diǎn)是 51.76%）；Panofy 的 reflect 也沖到了 92.47%（起點(diǎn) 62.39%）。
三個(gè) Agent 的整體表現(xiàn)（12 個(gè)任務(wù)組均值）大致如下：
說白了，這組數(shù)據(jù)傳遞了一個(gè)挺鼓舞人的信號(hào)：當(dāng)前的 Agent 已經(jīng)具備了一定的自進(jìn)化能力——它們真的能從過往經(jīng)驗(yàn)里學(xué)到東西，并把這份本事遷移到全新的任務(wù)上。這個(gè)發(fā)現(xiàn)，和已有的一些工作（[1](https://trinkle23897.github.io/learning-beyond-gradients/)、[2](https://www.recursive.com/articles/first-steps-toward-automated-ai-research)）也是不謀而合的。
06
這個(gè)項(xiàng)目里完整的流程、產(chǎn)物和結(jié)果，全部對(duì)外開放。我們特別歡迎你帶上自己的 Agent、或者自己的業(yè)務(wù)場(chǎng)景，來一起玩。
我們的目標(biāo)從來不是再搞一個(gè)排行榜，而是給“自進(jìn)化 Agent”這件事添一把柴。我們真心希望，能借這個(gè)項(xiàng)目讓 Agent 的自進(jìn)化真正實(shí)現(xiàn)規(guī)模化，最終把人從重復(fù)勞動(dòng)里解放出來。
GitHub開源項(xiàng)目：https://github.com/Prism-Shadow/GDPevo
博客鏈接：https://prism-shadow.github.io/GDPevo/blog.html
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))正在策劃自進(jìn)化 Agent相關(guān)主題的圓桌討論。如果你對(duì)自進(jìn)化 Agent的技術(shù)實(shí)現(xiàn)或者安全把控等有一定心得且愿意分享，歡迎添加微信：MS_Yahei（備注：自進(jìn)化 Agent）
上車，帶你看遍全球 AI 頂會(huì)精華
可獨(dú)家暢覽：
專家演講PPT
大會(huì)報(bào)告全文
熱門論文解讀
學(xué)術(shù)新星訪談
掃描上方二維碼
或點(diǎn)擊「閱讀原文」關(guān)注專區(qū)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
