<mark id="oztn4"></mark>
0
| 本文作者： 吳思夢 | 2026-07-13 11:04 | 專題：ICML：國際機器學習會議 |
作者丨吳思夢
編輯丨岑 峰
7月7日，國際機器學習大會（ICML）在首爾召開。在首日Keynote演講中，斯坦福大學商學院技術經濟學教授、前美國司法部反壟斷部門首席經濟學家Susan Athey發表了一場跨越經濟學、統計學與機器學習邊界的演講，題為“Causal Inference with Transformer Models”（基于 Transformer 模型的因果推斷）。
Athey過去二十年來一直站在AI與因果推斷的交叉點上。她個人曾同時包攬約翰·貝茨·克拉克獎與約翰·馮·諾伊曼獎，也曾是微軟首席經濟學家，親歷了搜索引擎推薦系統的因果難題；如今，她將目光投向了一個更棘手的戰場：在生成式AI時代，當每個用戶看到的每一條回復都獨一無二時，我們還能不能做因果推斷？
Athey的回答是：能。但必須換一種思路。她提出了一套全新的方法論：“以彼之矛，攻彼之盾”——利用大語言模型（LLM）天生的隨機性，來做天然的隨機實驗。
這一方法有三個顛覆性的特點：
第一，它繞過了傳統因果推斷中最棘手的步驟——估計傾向得分（Propensity Score）作為用戶特征的函數。在Athey的框架里，概率計算只在“用戶內部”進行：“這個特定用戶，在這次特定查詢中，看到A而非B的概率是多少？”這意味著即便不記錄用戶查詢本身，也能得到因果效應。
第二，它巧妙借用了大語言模型的內在隨機性。由于LLM在temperature>0時會為同一查詢生成不同回復，只需在夜間GPU空閑時重新調用一次API，就能低成本獲取反事實曝露。“你不需要額外招募實驗對象，你只需要把白天的數據晚上再跑一遍。”
第三，它回答的是一個極其務實的問題：“當系統在兩種回復之間近乎無差異時，朝某個方向輕輕推一把——比如讓語氣更溫暖——會有什么效果？”這不是一個學術玩具問題（Toy Problem），是每個AI產品經理每天都在做的決策。
總結而言，Athey的核心洞見是：生成式AI看似讓因果推斷變得更難，因為內容維度爆炸、每個人看到的東西都不同。但同時也提供了全新的工具：看似維度爆炸的大模型，實則為因果推斷送上了最好的武器。
以下是Susan Athey在ICML 2026大會發表的Keynote演講精編稿，雷峰網(公眾號：雷峰網)·AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：
“Causal Inference with Transformer Models”
主講人：Susan Athey，斯坦福大學商學院
01
我對AI與經濟學交叉領域的興趣始于2000年代末，當時我加入了微軟研究院，幫助創立了跨經濟學與計算機科學的New England Lab。同時，我在微軟還有一個運營角色，主要關注搜索引擎。那時我試圖把此前作為純經濟學家學到的一切，與我在搜索引擎中看到的實際問題結合起來。一個深刻影響我此后職業生涯的洞見是：機器學習與因果推斷之間，存在巨大的協同空間。因果推斷橫跨經濟學、統計學、計算機科學和許多其他社會科學。
從那以后，我一直在試圖解決一個問題：在一個高度個性化的環境里，如何做因果推斷、如何估計因果效應？我們面臨一個悖論——你在個性化上做得越好，就越難學會如何個性化。因為如果你對每個人都實現了完美個性化，你就永遠看不到他們看到別的東西會有什么反應。
多年來，學界發展了許多方法處理觀測數據，即那些并非隨機采集、而是推薦系統根據用戶特征匹配推送的數據。我和許多同行一直在推進這些方法。但大語言模型和Transformer的出現，把一切推向了極限——也把我們從前那些“勉強能用”的方法推向了“可能失效”的邊緣。維度太高了，我們做的事情太復雜了，以至于很難找到抓手。
今天，我要講兩個項目。在這兩個項目中，我不僅找到了抓手，而且我們發現：這些方法不僅能解決生成式AI帶來的新問題，甚至能讓舊世界的答案也變得更好。
02
首先，我要打破一個我通常會告誡年輕同事的鐵律：“永遠不要在重要演講中第一次講一篇論文。”我覺得今天的演講應該算重要，但我還是要打破這個規則。這篇論文的主題與我的摘要一致，但具體內容沒有寫在摘要里——因為我在旅行途中遇到Wi-Fi問題，沒趕上arXiv截止時間。所以它目前掛在Zenodo上，但愿明天能上arXiv。這是與Guido Imbens和Zoe Gu的合著。
這篇論文的核心動機是：如何利用大型文本平臺生成的觀測數據做因果推斷？這些平臺使用的是“隨機算法”（Stochastic Algorithms）。大多數用來給用戶推送個性化結果的算法，本質上都是隨機的。
在舊世界，比如向用戶推薦電影或書籍，因果推斷已經很難了。但至少不止一個人看過同一部電影，所以你還有一點希望去學習用戶對電影的偏好。但在生成式AI的世界里，如果把推送給用戶的回復看作一部“電影”，我們面臨的是同樣的Netflix問題，只不過現在沒有人會看到相同的上下文兩次，也沒有人會看到相同的回復兩次。所以我們需要一種不同的方法。
一種方法是降維：用嵌入（Embedding）來表示內容，為用戶估計嵌入向量，然后做匹配。這可以作為不錯的近似，能幫你走很遠。但在這第一篇論文里，我要追求更少偏差的結果，而代價是回答一個更窄的問題。
我們只關心少數幾個特征（Features）的因果效應。我承認，要估計一條回復中每一個元素的因果效應是不可能的，響應面太復雜了，一條回復與另一條回復之間的差異方式太多了。我不會試圖估計從內容特征到用戶結果的整個函數曲面。相反，我一次只關注少數幾個特征。
03
這些特征可以是科學問題。比如，情感語言對消費者反應有什么因果影響？我曾在虛假信息語境下用真實用戶做過實驗，發現情感語言對于讓人們停下來思考自己在網上分享了什么至關重要。但現在，我們可以在更大規模上、無需招募大量用戶就能研究情感語言的因果效應。
另一個例子：電商平臺可能想知道用戶對質量的支付意愿，或者用戶是否真的會關注質量信息——這關系到信號理論和提供質量的經濟激勵。在在線教育中，我們可以利用教育類AI導師的數據來研究不同教學方法的因果效應。
在產業實踐中，一個典型問題是：更友好的回復有什么效果？我不知道在座各位的習慣，但可能有人跟我一樣——我會告訴聊天機器人：“別閑聊了，別拍我馬屁了，直接給我答案。”當然，人們對聊天機器人是否應該寒暄有不同的偏好。所以“是否應該讓聊天機器人更友好”本身就是一個需要回答的因果問題。
我們都知道，不同場景使用不同的系統提示（System Prompt）。編程Agent有一套提示，閑聊Bot有另一套。應用開發者每天都在做這些主動決策。我在另一篇論文中研究過微笑照片對P2P借貸平臺Kiva的影響——我們發現微笑的借款人更容易獲得貸款。那篇論文里，我們用生成式AI修改照片來創建純隨機實驗，驗證了觀測數據的因果估計。
04
現在讓我用一張幻燈片講完這篇論文的核心。我們引入了一種新的數據結構，命名為“已記錄的反事實曝光”（Logged Counterfactual Exposures），名字還在打磨中。來自上下文Bandit文獻的朋友會覺得似曾相識，但在我們的設定中有所不同。
通常我們記錄的數據是：一個用戶、一個查詢、一條回復、以及用戶的行為反饋（比如點贊或點踩）。我們需要額外記錄兩樣東西：第一，至少一條用戶“本可以看到但沒看到”的內容；第二，用戶看到A而非B的相對概率。
如果你有一個大語言模型，你可以對同一用戶查詢做多次采樣（temperature>0），拿到不同的回復。這就是創建反事實曝光的兩種方式。
對于那些不熟悉因果推斷的聽眾，讓我解釋為什么這很微妙。因果推斷的核心挑戰是：我能看到你看到的東西的結果，但看不到你沒看到的東西的結果。所以它本質上是一個缺失數據問題。在我們的數據增強方法中，我們永遠不會看到“你沒看到的東西”的結果。那么，為什么還需要知道那個你沒看到的東西是什么？
我們的洞見是：把每個用戶查詢當作一個微型實驗。在這個實驗里，有一個用戶看到的東西和一個用戶沒看到的東西。然后我像分析一堆微型實驗一樣分析數據，把它們平均起來。
具體操作流程是：白天記錄用戶查詢和實際回復；晚上GPU空閑時重新調用API獲取反事實曝光；然后運行一個分類器來標記兩條回復的特征（比如“語氣是否溫暖”）；最后，扔掉所有實際曝光和反事實曝光在目標特征上相同的數據（即“一致對”），只對“不一致對”（Discordant Pairs）做均值差。
05
如果與傳統離線策略評估（Off-Policy Evaluation）對比，差異就很清楚了。離線策略評估試圖估計：如果換一種內容分配策略，會有什么效果？這需要估計傾向得分作為用戶特征的函數——而這正是高維空間中最難估計的對象。
我們的方法也需要概率，但概率是在“用戶內部”計算的：“這個特定用戶，在這次特定查詢中，看到不同內容的概率是多少？”我甚至不需要記錄用戶查詢本身。如果擔心隱私問題，我可以在拿到反事實曝光后就扔掉用戶查詢，仍然能得到因果效應。這是與傳統因果推斷文獻的根本性分歧。
我們把每個用戶看作一個n=1的實驗，然后對所有微型實驗求平均。我們最終估計的是：在那些實際經歷了特征變化的用戶中，該特征的平均因果效應。如果語言模型的temperature較高、兩條回復的概率差不多，那甚至不需要加權，直接做簡單平均就好。
06
聽到這里，你可能會覺得我像是在變魔術（即憑空做成了一件不可思議的事），甚至想問：兔子是怎么憑空變進帽子的？（pull a rabbit out of the hat）因為我看似扔掉了傳統觀測數據因果推斷中的許多底層硬性假設。但這個“魔術”的玄機其實在于：我們并沒有解決那個龐大的全局難題，而是將視角轉向回答了一個范圍更窄、更具體的問題。
假設你聽了這場演講后回到實驗室，決定試一試。你可以在向用戶展示兩條備選回復之前，選擇那條語氣更溫暖的。你實際在做的，恰好就是我們估計的那個因果效應。所以這個估計值回答的問題就是：“當系統在兩種回復之間近乎無差異時，選擇更溫暖的那一條，會有什么效果？”
如果你想讓這個因果效應與修改系統提示對應起來，可以這樣寫提示詞：“如果你在考慮是否要友好一點，請向友好的方向傾斜。”我們的因果效應衡量的就是這種“輕微推動”（Nudge）的效果——在系統本來就在兩種選擇之間“猶豫”的邊界上，朝某個方向輕輕推一把。
但我們的方法不適合另一種場景：先生成回復，然后在后處理中“強行”讓它變溫暖。因為那種情況下，你沒有在觀測數據中見過“本來不溫暖卻被強行變溫暖”的例子，也就無法學到這種干預的因果效應。
07
在推薦系統領域，有一個與我們的方法精神相近的文獻——負采樣（Negative Sampling）。它處理的也是“大多數物品沒有與大多數用戶互動”的問題。研究者從物品目錄中采樣一些用戶沒看過的物品作為負樣本，然后在增強后的數據集上做分析。
但關鍵區別在于：負采樣文獻通常不關心用戶到底被曝光了什么，它們用“假零”（Fake Zeros）來補全數據，知道這些估計是有偏的，但作為一個工程妥協，在實踐中效果不錯——它給我們推薦了讓我熬夜追的好電影。
而我們的方法是無偏的。我們保留了真實的0/1結果，但創建的反事實樣本來自于“我們知道用戶沒看到、但本可以看到”的內容。這更接近一種精心設計的實驗，而非工程妥協。
08
由于時間關系，第二個項目我只能簡要介紹。這是一個高度跨學科的團隊，涵蓋了經濟學、市場營銷、計算機科學、工程學和統計學。
我們做的事情是：用Transformer模型對職業序列建模，而非對詞語序列建模。這對研究者來說是個很好的實驗平臺——因為職業詞匯表只有330個職業，而不是30000個單詞。這意味著我在2022年就能用斯坦福的機器訓練一個基礎模型。
我們先用抓取的非代表性簡歷數據預訓練基礎模型，然后在一個包含工資數據的較小數據集上做fine-tuning。這個數據集有數千名工人、數萬次職業轉換，來自政府調查數據，任何人都可以下載。
因果推斷在這里的應用是性別工資差距分解（Gender Wage Decomposition）。性別工資差距被分解為兩部分：一是“如果男女有相同的職業歷史，工資差距會是多少？”二是“男女職業歷史本身的差異貢獻了多少？”這個分解直接指導政策制定。
技術的核心在于改造fine-tuning的目標函數。傳統fine-tuning用均方誤差（MSE）作為損失函數。我們改用“殘差對殘差回歸”（Residual-on-Residual Regression）：先取結果變量減去模型預測結果的殘差，再對“性別減去模型預測性別”的殘差做回歸。這個目標函數有三十年的理論歷史，能讓你在控制正確混雜因素的前提下得到因果效應。
讓我特別興奮的是：這只是一個例子。你可以通過改變隨機梯度下降的目標函數來回答各種因果問題。后訓練（Post-Training）一度失寵，但現在它回來了，我一直知道它會回來的。所以，對于那些對訓練后調整感興趣的人來說，這真的是一種有趣的做法，即改變目標函數，使其針對特定的感興趣參數，并集中精力確保該參數正確。
一個人讀論文太孤單，一群人刷頂會才好玩。
ICML 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。
? 進群傳送門： 掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。
搞科研/搞技術，信息差很重要。
來，一起快人一步！
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
