<mark id="oztn4"></mark>
0
| 本文作者： 吳思夢 | 2026-06-26 10:12 | 專題：ICML：國際機器學(xué)習(xí)會議 |
原文作者：公眾號“集智實驗室”
原文鏈接：https://mp.weixin.qq.com/s/A55BBhD3e_s3VVC7mw1JNw
雷峰網(wǎng)(公眾號：雷峰網(wǎng))轉(zhuǎn)載
你是否有過這樣的經(jīng)歷：在醫(yī)療影像分析中，僅僅因為細胞切片旋轉(zhuǎn)了一個角度，AI診斷模型就給出了截然不同的判斷？在自動駕駛場景里，攝像頭角度稍有傾斜，目標(biāo)檢測就開始漏檢誤報？
這背后是傳統(tǒng)視覺模型的核心痛點——它們對物體的旋轉(zhuǎn)、翻轉(zhuǎn)等空間變換過于敏感。雖然旋轉(zhuǎn)變換等變網(wǎng)絡(luò)（Equivariant Networks）早在CNN時代就被提出，但當(dāng)主流模型轉(zhuǎn)向視覺Transformer（ViT）時，實現(xiàn)這種“等變性”卻變得異常棘手。因為Transformer賴以成名的“位置編碼”，恰恰成了破壞旋轉(zhuǎn)對稱性的元兇。
今天我們要深挖的這篇文章，提出了一種極簡卻極為優(yōu)雅的方案——不需要復(fù)雜的位置編碼，直接利用卷積投影和群自注意力機制，讓ViT天然具備旋轉(zhuǎn)反射等變性（Roto-reflection Equivariance）。這不僅砍掉了傳統(tǒng)方法中繁瑣的相對位置編碼，還在多個數(shù)據(jù)集上碾壓了前輩方法。讓我們一探究竟。
要理解這項工作的價值，我們得先回到Transformer的基本原理。自注意力機制（Self-Attention）本質(zhì)上是“排列等變”的——它把輸入token當(dāng)成一個無序的集合。對于處理圖像來說，這無異于災(zāi)難：模型會完全忽略像素的空間位置關(guān)系。
于是，位置編碼（Position Encoding）應(yīng)運而生。絕對位置編碼給每個位置一個唯一ID，但這破壞了平移等變性；相對位置編碼（RPE）通過編碼位置間的差異來保持平移等變，看似完美，卻帶來了計算復(fù)雜度的飆升——每一層、每個注意力頭都要額外計算RPE，讓模型變得臃腫。
更棘手的是，為了在自注意力中引入旋轉(zhuǎn)等變性，現(xiàn)有的群等變方法（如G-SA）不得不進一步疊加復(fù)雜的旋轉(zhuǎn)群編碼和方向相關(guān)的RPE項：
這個公式背后，是每層大量的額外計算，讓網(wǎng)絡(luò)的訓(xùn)練和推理不堪重負。
那么問題來了：有沒有可能，我們干脆扔掉位置編碼，讓模型自己“感受”到空間和旋轉(zhuǎn)的結(jié)構(gòu)？ 這正是REViT的核心破局思路。
REViT的架構(gòu)設(shè)計非常直觀。我們先通過一張整體框架圖來建立全局認知。
從圖中可以清晰看到，REViT的關(guān)鍵在于兩個核心模塊：Lifting層和分組卷積自注意力（G-CSA）。它們共同讓模型在沒有任何顯式位置編碼的情況下，天然具備了旋轉(zhuǎn)等變性。
Lifting層的任務(wù)，是將一張普通的2D輸入圖像“提升”到一個更高維的表示空間，這個空間不僅包含空間位置信息，還顯式編碼了離散的方向（或旋轉(zhuǎn)）通道。
想象一下，你拿到一張照片，然后用Photoshop生成了它的4個副本，分別旋轉(zhuǎn)0°、90°、180°、270°。你把它們疊在一起，形成一個“多通道”的立體表示。Lifting層做的正是這件事，只不過它通過旋轉(zhuǎn)卷積來完成。
對于輸入圖像 和一組可學(xué)習(xí)的卷積核 ，Lifting操作定義為：
這里的關(guān)鍵在于 。我們不再用固定的卷積核，而是對每個離散旋轉(zhuǎn)群元素 （比如 ），都應(yīng)用一個預(yù)先旋轉(zhuǎn)好的卷積核。這樣一來，Lifting層的輸出不再是一個2D特征圖，而是一個3D的張量：。其中第三個“深度”維度，就對應(yīng)著不同的旋轉(zhuǎn)方向。
這個操作自然地引入了離散旋轉(zhuǎn)對稱性——如果輸入圖像被旋轉(zhuǎn)，那么Lifting層的輸出只是在群維度上發(fā)生了循環(huán)位移，而不會破壞特征的數(shù)值分布。這正是等變性的基礎(chǔ)。
如果說Lifting層完成了從平面到立體世界的躍遷，那么G-CSA模塊則是在這個3D空間中執(zhí)行自注意力，確保將等變性質(zhì)傳遞到網(wǎng)絡(luò)的每一層。
傳統(tǒng)的卷積自注意力（如CvT）在2D空間上，通過卷積投影生成Query、Key和Value序列，替代了線性投影。
REViT的G-CSA則將這一思想推廣到了Lifting后的3D空間。它通過3D群等變卷積來計算Q、K和V：
這里的 表示群等變卷積。由于我們在空間維度和群維度上同時執(zhí)行卷積操作，生成的Q、K、V本身也都是群等變的——輸入被旋轉(zhuǎn)，Q、K、V也會跟著旋轉(zhuǎn)。
接下來，G-CSA的注意力計算在空間鄰域和群結(jié)構(gòu)上聯(lián)合進行：
注意力權(quán)重 通過Q與K的點積計算softmax得到。與普通自注意力不同，這里的點積在所有空間位置 和所有群元素 上歸一化。這意味著模型不僅關(guān)注“空間上哪里重要”，還關(guān)注“在哪個旋轉(zhuǎn)方向上重要”。
論文中給出了嚴(yán)格的數(shù)學(xué)證明：對于任何群變換 ，G-CSA滿足 。通俗地說：先旋轉(zhuǎn)輸入再計算注意力，等同于先計算注意力再旋轉(zhuǎn)輸出。這正是等變性的核心定義。
這種設(shè)計如此優(yōu)雅：它不需要任何位置編碼，因為卷積操作天然捕獲了局部空間結(jié)構(gòu)，而群卷積則將這種結(jié)構(gòu)感知能力擴展到了旋轉(zhuǎn)維度。整個網(wǎng)絡(luò)就像一個精密的齒輪系統(tǒng)，轉(zhuǎn)動輸入，所有中間表示都會同步轉(zhuǎn)動，信息不會丟失或混淆。
這里有一個微妙但關(guān)鍵的點?？赡苣銜枺喝绻恢镁幋a能幫助模型感知空間結(jié)構(gòu)，我們?yōu)槭裁床荒鼙Ａ羲瑫r再加入群等變設(shè)計？
答案隱藏在Lifting層引入的群維度中。一旦我們將輸入提升到了 空間，我們處理的不再是“這個像素在(50, 100)”這樣的絕對位置，而變成了“這個像素在旋轉(zhuǎn)了90°后的(25, 30)”。標(biāo)準(zhǔn)的位置編碼無法編碼這種群變換下的相對關(guān)系。強行添加絕對位置編碼，反而會破壞Lifting層辛辛苦苦建立起來的群等變性。
而已經(jīng)被證明會帶來沉重計算負擔(dān)的RPE，其最初目的正是在自注意力中恢復(fù)平移等變性。REViT通過轉(zhuǎn)用卷積自注意力，天然內(nèi)建了平移等變性，因此RPE變得多余。這真是一個一石二鳥的精巧設(shè)計。
原理講得再漂亮，最終還得用數(shù)據(jù)說話。讓我們看看REViT在實際數(shù)據(jù)集上的表現(xiàn)。
首先，我們將G-CSA與傳統(tǒng)群等變自注意力G-SA進行直接對比。
從表1可以清晰看到，在Rotated MNIST和PatchCamelyon兩個數(shù)據(jù)集上，G-CSA在各個群結(jié)構(gòu)（Z2, p4, p8, p4m）下均優(yōu)于G-SA。最重磅的是PatchCamelyon上的結(jié)果：G-CSA只用了94.35K參數(shù)，而G-SA需要205.66K，但準(zhǔn)確率卻實現(xiàn)了反超。這種參數(shù)效率的碾壓，充分證明了卷積投影替代RPE在性能和效率上的雙重勝利。
接下來，我們看看REViT相比傳統(tǒng)群等變CNN（G-CNN）的提升有多大。
圖1用氣泡圖直觀展現(xiàn)了REViT的統(tǒng)治力：在多個離散群下，REViT在兩個數(shù)據(jù)集上的準(zhǔn)確率都占據(jù)了右上角的最優(yōu)位置。
再看與群等變CNN基線的具體數(shù)據(jù)對比。
CSA變體在所有三個數(shù)據(jù)集上全面優(yōu)于對應(yīng)CNN基線。p8-CSA在Rotated MNIST上達到98.92%，比p8-CNN提升0.42個百分點；而p4m-CSA在PatchCamelyon上達到90.75%，反超SOTA方法α_F-p4m-CNN?的89.12%。這些數(shù)據(jù)表明，G-CSA能穩(wěn)定提升群等變網(wǎng)絡(luò)的性能上限。
最殘酷的對比來了：REViT vs 普通ViT。
即使vanilla ViT使用了離散隨機45°旋轉(zhuǎn)和平移的數(shù)據(jù)增強，其準(zhǔn)確率也僅為91.67%。而REViT的p8CSA達到98.03%，Z2CSA達到95.97%，將數(shù)據(jù)增強的非等變模型遠遠甩在身后。這再次說明了將對稱性直接編碼進架構(gòu)，遠比依賴數(shù)據(jù)增強去“學(xué)習(xí)不變性”更加有效和本質(zhì)。
高性能常常以高開銷為代價。但REViT反其道而行之。
在相同的batch size和輸入圖像下，G-CSA的乘加運算量（Mul-Add）和峰值模型內(nèi)存（Total Size）幾乎是G-SA with RPE的一半甚至更低。例如，p8-CSA的Mul-Add僅為15.98M，而p8-SA則需要48.32M。這種級別的效率提升，意味著在相同的硬件條件下，你可以訓(xùn)練更深的模型，或者處理更大分辨率的圖像。這是REViT能夠成功擴展到ImageNet-1K的硬件基礎(chǔ)。
G-CSA有兩個關(guān)鍵的超參數(shù)：群的階數(shù)（即包含多少個離散旋轉(zhuǎn)）和卷積核尺寸。它們?nèi)绾斡绊懽罱K性能？
實驗發(fā)現(xiàn)，增加群階數(shù)并不總是好事。從p4增至p12，準(zhǔn)確率從98.73%提升至99.01%；但繼續(xù)增至p16時，準(zhǔn)確率反而下降。這是因為更高階的群包含非網(wǎng)格對齊的旋轉(zhuǎn)（如22.5°），雙線性插值會引入近似誤差，損害等變精度。
卷積核尺寸同樣存在最優(yōu)值。5×5的核達到峰值98.73%。太小的核感受野受限，無法捕捉足夠的鄰域信息；太大的核可能破壞局部的平移等變性特性，并帶來過擬合風(fēng)險。這些消融實驗為實際應(yīng)用中的模型調(diào)優(yōu)提供了明確指導(dǎo)。
一個模型聲稱自己是“等變的”，就必須接受嚴(yán)格的數(shù)學(xué)檢驗。作者通過等變誤差（Equivariance Error）和預(yù)測一致性（Prediction Consistency）來量化這一點。
表6的結(jié)果令人信服：在p4和p4m群下，REViT的Lifting層和G-CSA塊后的等變誤差低至1e-5到1e-2量級，與G-CNN持平，而vanilla ViT則高達1e-1。這證明REViT的架構(gòu)確實在執(zhí)行嚴(yán)格的群等變。
對于包含45°旋轉(zhuǎn)的p8群，等變誤差略有上升。這并非架構(gòu)缺陷，而是輸入階段的插值偽影在搗鬼。
圖4清晰地解釋了這一現(xiàn)象：90°旋轉(zhuǎn)與像素網(wǎng)格完美對齊，只需重排像素；但45°旋轉(zhuǎn)卻迫使像素點落在網(wǎng)格間隙，必須通過雙線性插值來估算，從而引入了無法完全消除的近似誤差。這是一個預(yù)處理器層面的固有局限，而非REViT自身的設(shè)計問題。
在隨機連續(xù)變換的泛化測試中，REViT再次展現(xiàn)了非凡的魯棒性。
面對訓(xùn)練時從未見過的任意角度連續(xù)旋轉(zhuǎn)，REViT的平均預(yù)測一致性高達96.99%，比普通ViT提升了11.61%，平均概率差異也大幅降低。這表明，從離散等變性中學(xué)習(xí)到的結(jié)構(gòu)化對稱性，能夠很好地泛化到連續(xù)的變換空間。
最后，作者證明了REViT完全可以擴展到ImageNet-1K這樣的工業(yè)級數(shù)據(jù)集。
REViT以18M參數(shù)取得了79.27%的Top-1和94.45%的Top-5準(zhǔn)確率，完勝RE-ResNet的77.37%（11M）和ViT-S w/ aug的72.08%（22M）。這個結(jié)果的意義非凡：一個嚴(yán)格的等變架構(gòu)，在沒有額外數(shù)據(jù)增強，也沒有預(yù)訓(xùn)練蒸餾的情況下，就在大規(guī)模數(shù)據(jù)集上擊敗了經(jīng)過高度混合增強的非等變Transformer。這充分展示了將幾何對稱性作為歸納偏置的巨大潛力。
盡管REViT表現(xiàn)驚艷，我們也必須正視其固有的局限。
計算與內(nèi)存代價：群等變架構(gòu)的計算和內(nèi)存開銷與底層群的階數(shù)（元素數(shù)量）成比例。例如p12群包含12個變換，意味著理論上要比普通模型多處理12倍的特征映射。這導(dǎo)致推理延遲的增加，使其在資源極度受限或延遲極度敏感的場景下部署依然面臨挑戰(zhàn)。雖然作者通過窗口化G-CSA緩解了這個問題，但其根本性的開銷結(jié)構(gòu)并未改變。
高階群的非理想等變性：如前所述，對于包含非網(wǎng)格對齊旋轉(zhuǎn)的高階群，插值偽影會在輸入階段就引入誤差。雖然這并非REViT網(wǎng)絡(luò)本身的設(shè)計失誤，且誤差依然保持在很低水平（10^-2），但對于追求理論完美等變性的場景，這仍是一個需要感知的因素。
未來方向：作者計劃將REViT擴展到更大規(guī)模的ViT架構(gòu)，以及將其作為預(yù)訓(xùn)練Backbone應(yīng)用于方向性目標(biāo)檢測和圖像分割。我個人也非常期待看到它在3D點云處理、分子結(jié)構(gòu)預(yù)測等更廣泛的幾何深度學(xué)習(xí)任務(wù)中的表現(xiàn)。
總的來說，REViT這項工作給我們上了精彩一課：
巧妙的設(shè)計比復(fù)雜的公式更強大
等變性不是玄學(xué)，而是可檢驗的工程目標(biāo)
歸納偏置的價值在大規(guī)模數(shù)據(jù)下依然閃光
深度思考：你正在從事的目標(biāo)檢測、醫(yī)學(xué)影像或機器人視覺任務(wù)中，是否也存在類似“旋轉(zhuǎn)讓模型犯糊涂”的痛點？REViT的設(shè)計思路，是否為你打開了一扇新的大門？歡迎在評論區(qū)分享你的見解和落地思考！
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
專題
本專題其他文章
