<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評論按：今天，谷歌的 Dropout 專利生效這一消息突然在圈內(nèi)傳開，而生效日期就在 6 月 25 日，有效期 15 年。三年前，谷歌就給 Dropout 申請了專利，但因為此舉引發(fā)了業(yè)界眾多異議，最最后無疾而終。只是令人沒想到時隔三年，這一專利申請竟然生效了。雷鋒網(wǎng) AI 科技評論將這一事件整理報道如下。
但凡是接觸過機器學習的人士，一定知道 Dropout。它是在進行深度學習、訓練神經(jīng)網(wǎng)絡時，普遍會用到的方法，也是調(diào)參的一種手段，可以有效防止過擬合。由 Hinton 在 2012 年的論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。
而在隨后 Alex 和 Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》中，則用 Dropout 算法來防止過擬合。論文中的 AlexNet 網(wǎng)絡模型瞬間引爆神經(jīng)網(wǎng)絡應用熱潮，并贏得了 2012 年圖像識別大賽冠軍，使得 CNN 成為圖像分類上的核心算法模型。
而 Dropout 在這里面，就起到了訓練深度神經(jīng)網(wǎng)絡的一種 trick 供選擇這一重要作用。簡單來講：在前向傳播過程中，Dropout 讓某個神經(jīng)元的激活值以一定的概率 p 停止工作，通過取各種網(wǎng)絡的平均來提升模型的穩(wěn)定性，從而有效的緩解過擬合現(xiàn)象，并在一定程度上達到正則化的效果。
而且對于機器學習來說，一旦模型過擬合，那么該模型幾乎不能用。因此，這一方法在很早的時候，就被廣泛的運用在機器學習領域中。
在谷歌申請專利的介紹中，他們把 Dropout 稱為——《解決神經(jīng)網(wǎng)絡過擬合的系統(tǒng)與方法》。我們可以在 Google Patents （https://patents.google.com/patent/US9406017B2/en）上看到這項技術的專利詳情頁面。
通過摘要，我們大致可以了解到關于 Dropout 的這幾點：
Dropout 是一個用來訓練神經(jīng)網(wǎng)絡的系統(tǒng)；
其中網(wǎng)絡某些層上的特征檢測器都連著一個開關；
在每個訓練場景下，這些開關會隨機關閉部分特征檢測器；
而這些訓練場景下的權重會被歸一化，最終將神經(jīng)網(wǎng)絡應用在測試集上。
從圖中右上角，我們可以看到該技術發(fā)明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的專利權受讓人（Current Assignee）是谷歌。
綜上所述，當 Dropout 這一普遍且通用的方法成為了專利，雖然它非常簡單，但此舉就好比加法成為了個人專利，這勢必會為整個行業(yè)帶來大的擾動。
這一方法在將來的使用中，是否存在法律風險？谷歌會對該專利作出怎樣的限制？這些限制將給學術研究與合作帶來怎樣的結果？對于國內(nèi)外的相關企業(yè)又有什么影響？......這些問題不免引起大家的關注與思考。
消息發(fā)出后，reddit 上就針對這件事進行了熱烈的討論：
其中討論得最多的問題就是——以后我們是否還能夠自由使用 Dropout？
針對這一問題，有人認為谷歌不會強制執(zhí)行專利許可，就像他們之前的「使用深度神經(jīng)網(wǎng)絡處理圖像」專利一樣，也沒有強制執(zhí)行；
也有人持有相反的態(tài)度，并且將關注點落在了企業(yè)層面，認為這一專利申請，勢必會影響一大部分年輕的機器學習公司。因為谷歌可以對其專利代碼被使用，隨時提出訴訟，而對公司造成消極影響；
還有持辯證態(tài)度的群眾，他總結到這個事情的影響視個人情況而定。如果你是機器學習相關的公司負責人，這件事的就會對公司利益造成損害；如果你與谷歌有利益糾紛，走法律程序前三思，因為你很可能會被谷歌公司以專利侵權返告；但如果你是谷歌的專利律師，那恭喜，估計世界上也沒有能難到你的案件了！
知乎上，一位知友也發(fā)表了自己的看法——
還有網(wǎng)友表示我們不應該指責谷歌，應該指責專利制度；正如有句話所說「不要怪玩家，要怪就怪制定游戲規(guī)則的人?！共贿^，在事情還沒有任何定論之前，我們也只能持觀望態(tài)度，畢竟專利設置之初，其本意是用來鼓勵和保護發(fā)明創(chuàng)造的，從過去的一些專利申請來看，它確實也起到了相應的作用，也維護了很多發(fā)明者自身的利益。
當然，我們也希望如大部分樂觀網(wǎng)友所說，谷歌的行為只是單純?yōu)榱司S護自身利益；而 Dropout 專利申請生效事件，也不會為學術圈乃至整個行業(yè)帶來任何消極影響。
參考文獻：
《深度學習中 Dropout 原理解析》.Microstrong0305（小強）
https://blog.csdn.net/program_developer/article/details/80737724?utm_source=copy
雷鋒網(wǎng) AI 科技評論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
