<mark id="oztn4"></mark>
0
作者 | 李梅
編輯 | 陳彩嫻
機器學習領域的研究進展迅速，研究者既要及時跟進最新研究，也要不時地回顧經典。寒假開始，各位機器學習er在度假之余，想必也不會忘了自己卷王的身份。
最近，Github上出現了一個名為“ML Papers Explained”的優質項目，精選了機器學習領域的一些核心概念，對相關工作的原始論文做了解讀，實在是廣大MLer的一大福利。
項目地址：https://github.com/dair-ai/ML-Papers-Explained
該項目由三位數據 Rastogi、Diego Marinho、Elvis Saravia創建，旨在介紹機器學習領域重點技術的研究論文，既有經典重現，也有最新前沿跟進，突出論文的主要創新點，討論它們對研究領域的影響及其應用空間。
該項目目前集合了25個機器學習概念，涉及計算機視覺、目標檢測、文檔信息處理、自然語言處理等方向。按類別劃分，包括RCNN系列：
Transformer系列（Layout Transformers、Document Information Processing、Vision Transformers）：
以及Single Stage Object Detectors系列：
點擊這些關鍵詞，就是一篇論文詳解，這些論文解讀大都不是長篇累牘，而是簡明扼要地介紹論文的核心發現、實驗結果，同時有進一步的延伸思考。文章的排版也清晰明了，能夠幫助研究者快速且深入理解一篇論文的精髓。這里選取兩篇解讀來一睹為快。
TinyBERT解讀
在大模型越來越成為AI核心研究方向的當下，回顧這些經典的語言模型論文是大有裨益的。比如自BERT模型出現以后，提高模型參數量的同時降低大模型的計算成本，就一直是該領域的一個熱點方向。
Github上的這個論文解讀項目就精選了多篇相關論文，以一篇對知識蒸餾方法TinyBERT的解讀為例：
這項工作由年華中科技大學和華為諾亞方舟實驗室合作，在2019年提出。這篇解讀概括了TinyBERT這項工作的三個核心貢獻：Transformer蒸餾、兩步蒸餾過程、數據增強，這些方法改進了基于Transformer的模型在特定情況下的知識蒸餾效果。
首先是Transformer蒸餾。這部分介紹了論文所用蒸餾方法的核心思想和公式，并解釋了先前的蒸餾工作DistillBERT的弊端，如它使用教師模型來初始化學生模型的權重，導致兩者必須有相同的內部尺寸并允許層數不同，而TinyBERT通過在嵌入和隱藏損失函數中引入可學習的投影矩陣來規避這個問題，從而使得學生和教師模型的內部表示在元素方面可以進行比較。
另外，解讀作者還在這里引用了另一項相關研究，為TinyBERT的進一步工作提出了一個有趣的方向。
然后是兩步蒸餾法。這里說明了TinyBERT所使用的蒸餾過程遵循了原始BERT的訓練方法——在大規模的通用數據集上進行預訓練以獲得語言特征，然后針對特定任務數據進行微調。所以在第一個步驟中，使用在通用數據上訓練的通用BERT作為教師，學生學習模仿教師的嵌入和轉換層激活來創建一個通用的TinyBERT；在第二個步驟中，將教師模型切換到特定任務模型并繼續訓練學生模型。
第三個是數據增強。這部分介紹了論文作者使用了數據增強技術來在微調步驟中對特定任務的數據集進行擴展。
之后文章精簡地呈現了原始論文中TInyBERT的關鍵數據，如該模型的性能在基準測試中達到了BERT基礎教師模型的96%，同時體積縮小了7.5倍，速度提高了9.4倍。
針對原始論文的三個核心貢獻，文章還給出了一些有價值的思考，如特定任務的蒸餾（微調）比通用蒸餾（預訓練）更重要等等。
Swin Transformer解讀
再比如當年屠榜各大視覺任務的Swin Transformer，由微軟亞洲研究院郭百寧團隊提出，是視覺領域的研究者必讀的一篇論文，這項工作也在這個論文解讀項目有精彩的分享：
文章首先以原始論文中的關鍵圖表，簡要介紹了Swin Transformer的基本方法及其核心設計元素。
然后邏輯清晰地詳解了Swin Transformer的架構細節，包括4個stage和Swin Transformer Block
接著列出了Swin Transformer的幾項實驗：
有興趣的讀者可以自行前往該項目探索一番，如果想分享自己的論文解讀，也可以向該項目提交PR。據項目作者透露，后續還將推出notebook和講座，幫助大家更好地跟進研究進展。
更多內容，點擊下方關注：
未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！
公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。
雷峰網(公眾號：雷峰網)
