<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-05-29 10:57 | 專題：CVPR 計算機(jī)視覺與模式識別會議 |
南京大學(xué)碩士生劉尚格為本文第一作者；澳大利亞 University of Wollongong (UOW) Lei Wang 教授、新加坡 Nanyang Technological University (NTU) Dacheng Tao 教授、南京大學(xué)高陽教授等，為本文合作者；南京大學(xué)副教授李文斌，為本文通訊作者。
在大模型時代，微調(diào)是我們讓基礎(chǔ)模型適配下游任務(wù)的常規(guī)操作。但如果我們手頭有多個微調(diào)好的專家模型，想要把它們的能力合并到一個模型中，傳統(tǒng)的聯(lián)合訓(xùn)練不僅需要收集所有歷史數(shù)據(jù)，還會帶來極其高昂的算力成本。
在不重新訓(xùn)練的情況下，如何讓一個模型同時掌握多種新技能？
近年來，「任務(wù)算術(shù)」（Task Arithmetic）作為一種高效的模型合并范式異軍突起。它在無需昂貴的聯(lián)合訓(xùn)練的情況下，僅通過對模型權(quán)重進(jìn)行簡單的代數(shù)加減，就能實現(xiàn)多任務(wù)能力的組合與特定知識的消除。
然而，任務(wù)算術(shù)在經(jīng)驗上的巨大成功，卻一直伴隨著底層理論解釋的缺失。此前該領(lǐng)域的一項重要工作提出了「權(quán)重解耦」（Weight Disentanglement）的概念，認(rèn)為當(dāng)不同任務(wù)的權(quán)重更新在功能上互不干擾時，任務(wù)算術(shù)就能成功。但這更多是對理想結(jié)果的一種現(xiàn)象學(xué)描述：究竟是預(yù)訓(xùn)練模型的什么內(nèi)在屬性，或者任務(wù)向量的什么特征，促成了這種解耦？
為了回答這一根本問題，來自南京大學(xué)、伍倫貢大學(xué)和南洋理工大學(xué)的研究團(tuán)隊，試圖為任務(wù)算術(shù)建立一個更為底層的理論框架。他們提出了一種名為「任務(wù)特征特化」（Task-Feature Specialization, TFS）的理想屬性，并基于此推導(dǎo)出了現(xiàn)實中可操作的幾何約束方法 ——OrthoReg。只需在微調(diào)時引入一個極簡的正交正則化項，就能顯著提升多種基線方法的模型合并性能。
目前，該論文已被計算機(jī)視覺頂級會議 CVPR 2026 接收，并被評為 Oral。相關(guān)代碼、模型權(quán)重和數(shù)據(jù)集已全面開源。
論文鏈接：https://arxiv.org/abs/2604.17078
代碼鏈接：https://github.com/RL-MIND/OrthoReg
權(quán)重鏈接：https://huggingface.co/RL-MIND/OrthoReg_checkpoints
Huggingface Paper: https://huggingface.co/papers/2604.17078
背景介紹：任務(wù)算術(shù)與權(quán)重解耦
為了更好地理解這項工作，我們先來回顧一下什么是「任務(wù)算術(shù)」。
假設(shè)有一個預(yù)訓(xùn)練的基礎(chǔ)模型，其權(quán)重為
，使用特定任務(wù)的數(shù)據(jù)對其進(jìn)行微調(diào)，得到了微調(diào)后的模型權(quán)重
。此時，將兩者的差值定義為任務(wù)向量（Task Vector）
?？梢哉J(rèn)為這個向量封裝了模型為了掌握該任務(wù)所學(xué)習(xí)到的知識增量。
令人驚嘆的是，我們可以直接對這些任務(wù)向量進(jìn)行代數(shù)運算。比如，將不同任務(wù)的向量直接相加并賦予一個縮放系數(shù)
，即
，就能得到一個具備多任務(wù)處理能力的單一模型。
此前，NeurIPS 2023 的一項重要工作（Tangent Task Arithmetic, TTA）提出了「權(quán)重解耦」（Weight Disentanglement）的概念來解釋這一現(xiàn)象。該理論認(rèn)為，如果不同任務(wù)的權(quán)重更新在功能上互不干擾（即解耦），任務(wù)算術(shù)就不會發(fā)生災(zāi)難性干擾或性能沖突。
但這引出了一個更深層的問題：權(quán)重解耦只是對理想結(jié)果的描述，到底是什么內(nèi)在屬性導(dǎo)致了權(quán)重解耦？我們又該如何主動構(gòu)建出能夠完美解耦的任務(wù)向量？
理論分析：從「特征特化」假設(shè)到「權(quán)重正交」推論
為了探究權(quán)重解耦的本質(zhì)，本文首先構(gòu)建了一個理想化的理論模型，并提出了一個核心假設(shè)：任務(wù)特征特化（Task-Feature Specialization, TFS）。
直觀地講，TFS 假設(shè)一個理想的預(yù)訓(xùn)練模型在處理不同任務(wù)時，能夠智能地將不同的內(nèi)部特征（由權(quán)重矩陣的列向量表示）分配給特定的任務(wù)。例如，識別汽車的特征和識別手寫數(shù)字的特征在模型內(nèi)部是相互獨立的。
文章在神經(jīng)正切核（NTK）線性化假設(shè)下證明：
TFS 是實現(xiàn)權(quán)重解耦的充分條件（見論文 Theorem 1）。這意味著，如果模型在理想狀態(tài)下能夠做到特征特化，則權(quán)重解耦自然成立，從而在底層機(jī)制上保證了不同任務(wù)向量的合并不會產(chǎn)生破壞性干擾。
TFS 會自然推導(dǎo)出一個可觀測的幾何推論：權(quán)重向量正交性（WVO）（見論文 Corollary 1）。文章指出，正交性（Orthogonality）可以被視作底層特征分離（TFS）在幾何上的一種外在表現(xiàn)或觀測線索。具體而言，具備 TFS 屬性的模型，其權(quán)重矩陣在統(tǒng)計上會呈現(xiàn)出塊正交甚至列正交的結(jié)構(gòu)。
如下圖所示，文章將 TFS 視作連接功能屬性（權(quán)重解耦）與幾何屬性（權(quán)重正交）的共同根源。這一核心洞見為后續(xù)的方法設(shè)計指明了方向。
圖 - 核?論點概念圖
不僅是理論推導(dǎo)，在預(yù)訓(xùn)練的 CLIP（ViT-B/16、ViT-B/32、ViT-L/14）模型中也真實觀察到了這一現(xiàn)象：其核心計算層（如 Transformer Block 中的投影層）的權(quán)重向量夾角，極其尖銳地集中在 90 度（如下圖所示），這為理論提供了強(qiáng)有力的經(jīng)驗支撐。
圖 - CLIP 模型權(quán)重正交性經(jīng)驗證據(jù)圖
現(xiàn)實挑戰(zhàn)與方法：OrthoReg 極簡正交正則化
在理想情況下，如果預(yù)訓(xùn)練模型
完美滿足 TFS 屬性，那么僅僅依賴靜態(tài)的
本身就足以自然保證權(quán)重解耦。然而，在實際的微調(diào)場景中，不同任務(wù)的數(shù)據(jù)不可避免地存在底層特征重疊（Feature Overlap），極其理想的 TFS 假設(shè)在現(xiàn)實中幾乎是不成立的。
既然單純依賴預(yù)訓(xùn)練模型
無法保證解耦，常規(guī)微調(diào)產(chǎn)生的任務(wù)向量又往往因為特征干擾而高度相關(guān)，破局的關(guān)鍵就轉(zhuǎn)移到了如何主動構(gòu)造「好」的任務(wù)向量
上。
在模型合并領(lǐng)域，現(xiàn)有的解決方案大致可分為合并中（During-merging）和合并前（Pre-merging）兩類。前者試圖在合并階段設(shè)計復(fù)雜的算法來消除沖突，而本文的思路則屬于 Pre-merging 方法：既然無法直接保證功能的絕對特化（TFS），我們不妨退而求其次，在微調(diào)階段主動去約束它的幾何推論 —— 正交性，從而從源頭上打造出「天生適合合并」的模型。
基于此，文章提出了一種極其簡單、即插即用的正則化方法 OrthoReg。它在常規(guī)微調(diào)的損失函數(shù)中加入了一個針對權(quán)重更新矩陣
的正交正交項：
其中
是第
個線性層的權(quán)重更新量（即任務(wù)向量的組成部分），
是單位矩陣。
圖 - OrthoReg ?法概覽圖
文章在理論上進(jìn)一步證明（Theorem 2）：即使在 TFS 假設(shè)不成立（存在特征重疊）的現(xiàn)實情況下，通過約束
的內(nèi)部正交結(jié)構(gòu)，OrthoReg 能夠同時控制任務(wù)向量的范數(shù)，并在統(tǒng)計意義上促使不同任務(wù)向量之間趨于正交。這種對權(quán)重的幾何重塑，成為了一種直接且有效的機(jī)制，能夠在模型合并時顯著抑制跨任務(wù)干擾。
與現(xiàn)有方法的聯(lián)系：
此前 TTA (Tangent Task Arithmetic) 方法通過在切空間微調(diào)，隱式地利用了模型的 NTK 局部性來促進(jìn)任務(wù)向量的正交。然而，TTA 依賴于極其昂貴的雅可比矩陣計算，導(dǎo)致顯存和時間開銷大幅增加。相比之下，OrthoReg 通過正則化顯式約束正交性，不僅在理論機(jī)制上與 TTA 殊途同歸，而且計算成本極低，幾乎不增加額外的訓(xùn)練負(fù)擔(dān)。
實驗驗證：更正交的向量，更優(yōu)的合并
文章在 8 個多領(lǐng)域的圖像分類數(shù)據(jù)集上，對多種視覺 Transformer（ViT-B-32、ViT-B-16、ViT-L-14）進(jìn)行了廣泛的評估。
任務(wù)加法（Task Addition）
在將 8 個任務(wù)的模型合并為一個單一模型的測試中，OrthoReg 展現(xiàn)出了極強(qiáng)的通用性。無論是應(yīng)用于全參數(shù)微調(diào)（Non-lin. FT）、切空間微調(diào)（TTA），還是參數(shù)高效微調(diào)（ATT-FT, LoRA），OrthoReg 均能帶來一致且顯著的性能提升。
圖 - Task Addition 實驗結(jié)果
例如，在 ViT-L-14 模型上，OrthoReg 將標(biāo)準(zhǔn)全參數(shù)微調(diào)的平均絕對準(zhǔn)確率大幅提升了 4.16 個百分點（從 84.07% 提升至 88.23%）；而 ATT-FT 結(jié)合 OrthoReg 更是達(dá)到了 90.41% 的準(zhǔn)確率，創(chuàng)下了該基準(zhǔn)下的新高。
特別地，在衡量任務(wù)干擾程度的歸一化準(zhǔn)確率（Norm.Acc.）指標(biāo)上，ATT-FT 結(jié)合 OrthoReg 達(dá)到了 100.05%。這意味著合并后的多任務(wù)模型，其平均性能已經(jīng)完全媲美甚至微超 8 個獨立微調(diào)的專家模型，在功能層面上無限逼近了「零干擾」的理想解耦狀態(tài)。
任務(wù)消除（Task Negation）
任務(wù)算術(shù)同樣可以用于讓模型「遺忘」特定任務(wù)
。實驗表明，OrthoReg 能夠幫助模型更干凈地剝離目標(biāo)任務(wù)的知識。在減去該任務(wù)向量時，模型目標(biāo)任務(wù)的準(zhǔn)確率下降得更徹底，同時更好地保持了在控制任務(wù)（如 ImageNet）上的零樣本泛化能力。
圖 - Task Negation 實驗結(jié)果
可視化：揭示任務(wù)向量的幾何關(guān)系
為了直觀驗證理論，文章也計算了不同任務(wù)向量之間的余弦相似度。如下圖所示，基線方法（上排）生成的任務(wù)向量之間存在明顯的非對角線相關(guān)性（亮色色塊），說明常規(guī)微調(diào)容易導(dǎo)致任務(wù)間特征耦合。而引入 OrthoReg 后（下排），熱力圖的非對角線區(qū)域明顯變暗。這提供了直接的經(jīng)驗證據(jù)：OrthoReg 確實通過幾何約束，促使模型學(xué)習(xí)到了更加正交、解耦的任務(wù)向量。
圖 - 任務(wù)向量余弦相似度熱?圖對?（ViT-B-16）
總結(jié)和展望
總而言之，這篇論文為「任務(wù)算術(shù)」這一模型合并技術(shù)提供了另一個視角的理論分析。
本文從一個根本性問題出發(fā)：任務(wù)算術(shù)為什么能有效？最終給出了一條清晰的因果鏈：任務(wù)特征特化（TFS）是權(quán)重解耦的充分條件，而權(quán)重向量正交性（WVO）則是 TFS 在幾何層面可觀測的外在印記。
更重要的是，這一理論洞見直接轉(zhuǎn)化為了實踐價值。由于 TFS 本身是一個抽象且難以直接約束的功能屬性，研究團(tuán)隊另辟蹊徑，轉(zhuǎn)而去約束其幾何推論即正交性。由此提出的 OrthoReg 正則化方法極其輕量：一行公式，一個超參，即插即用，無需修改任何模型結(jié)構(gòu)或合并算法，卻能跨模型規(guī)模、跨微調(diào)范式地帶來一致的性能增益。
未來，研究團(tuán)隊計劃探索更多樣化、更細(xì)粒度的正交性約束形式，以期在更復(fù)雜的多任務(wù)場景下實現(xiàn)更精準(zhǔn)的權(quán)重解耦。同時，這種基于幾何視角的解耦思想，也有望在未來推廣至更大規(guī)模的語言模型和多模態(tài)大模型的知識編輯與持續(xù)學(xué)習(xí)任務(wù)中，激發(fā)更多極具潛力的研究方向。
專題
本專題其他文章
