<mark id="oztn4"></mark>
0
前兩天，谷歌大腦團隊又在Reddit上做了一次AMA（Ask me anything）活動。
去年8月時候谷歌大腦團隊也在Reddit上做過同樣的活動，包括Jeff Dean、Geoffery Hinton、Samy Bengio、David Patterson在內的23位谷歌大腦成員在 Machine Learning 版塊的帖子里回答了廣大網友們的關于谷歌大腦的工作模式、與DeepMind的關系、谷歌大腦的研究宗旨、對深度學習未來看法等等方面的提問。提問的問題、成員們的回答以及網友們的后續討論加起來一共有超過800條留言。谷歌大腦團隊負責人、Senior Fellow Jeff Dean 在其中貢獻了22條非常充實的回答，從他的角度解答了一些網友們的重點疑問。
兩年的AMA下來，Jeff Dean基本上借著網友提問對谷歌大腦的相關情況做了非常全面的回答，不僅有很多“是什么”和“為什么”，還有很多“未來會如何”。雷鋒網 AI 科技評論把這些問答做了個整理，相信還對谷歌大腦有任何疑惑的讀者看完以后都會得到滿意的解答。（部分重復問答有刪節）
本篇為下篇，上篇中關于谷歌大腦團隊自身的許多問答看雷鋒網 AI 科技評論的上一篇文章「Jeff Dean答疑解惑：關于谷歌大腦和機器學習未來的26個精彩問答（上）」。
網友：谷歌大腦、DeepMind、谷歌量子人工智能實驗室（Quantum A.I. lab）三者之間的關系是怎么樣的？尤其是，1，三個團隊之間的溝通和合作狀況如何？2，在決定路線圖之類的大事的時候，你們會把其它團隊的研究也作為考慮因素，還是你們就只是各做各的、不管別人？
Jeff Dean：我們沒怎么和量子人工智能實驗室合作過，原因是他們研究的東西和我們做的研究區別非常大。
我們和DeepMind一樣，都有“構建智能機器”的研究遠景，我們會關注對方的研究成果，我們也在很多不同的研究項目中有合作。比如，AlphaGo 項目一開始是一個谷歌大腦和DeepMind合作的研究項目（ Chris Maddison 在谷歌大腦團隊實習的時候發起的，詳情看論文 https://arxiv.org/abs/1412.6564），后來 DeepMind 的研究員們在早期研究的基礎上，加上了表現優秀而且非常重要的從自我對局中學習的強化學習的內容，把它發展成了一個真正的系統。Continuous Deep Q-Learning with Model-based Acceleration（http://arxiv.org/abs/1603.00748 ）也是一項合作研究的成果。這里我不得不承認，倫敦和山景城之間的時差讓深入的合作變得有點痛苦。谷歌大腦的成員經常去DeepMind那邊訪問，反過來也一樣。還有2016年DeepMind從Torch更換為TensorFlow期間，好幾位谷歌大腦的成員在DeepMind待了好幾周，幫他們解決轉換中的問題。
在機器學習運用于醫療保健方面，我們和DeepMind都有項目正在進行中，這樣我們也就會定期開會仔細討論研究路線圖以及下一步怎么做。
所以總的來說，谷歌大腦和量子人工智能實驗室之間：沒什么合作。谷歌大腦和DeepMind之間：很多不同形式的合作。
網友：在你們看來，谷歌大腦和DeepMind的區別在哪里？如果有人想加入其中一個，有哪些情況是他需要知道的嗎？你們和DeepMind的合作多嗎？
Jeff Dean：我們和DeepMind的合作和互動很多，具體可以看我剛才的回答。
如果要比一比的話，谷歌大腦和DeepMind的目標很相似，都是制造智能機器。肯定需要通過一定的研究才能達成目的，那么我們和DeepMind就在研究方式上有一些區別；不過我覺得兩個團隊的人做的工作都很精彩，也有一些互補之處。不同之處具體有下面這些：
DeepMind傾向于在人為控制的環境中做大多數研究，這樣的環境包括模擬電腦游戲或者圍棋這樣的比賽，相比之下谷歌大腦傾向于更多地在真實的、來自現實世界的問題和數據上進行研究。
對谷歌大腦來說，研究路線圖是由研究員們各自的興趣和大家一致認為有值得探索的登月式的領域共同決定的，因為我們覺得這樣定下來的路線圖能夠給有智慧的機器帶來新的能力。DeepMind則是先決定制造一般意義上的有智慧的系統都需要解決哪些問題，然后根據這些問題形成自上而下的路線圖。
我們更注重讓世界級的機器學習研究者和世界級的系統工程師配合工作，這樣能夠大規模地解決困難的機器學習問題。建造大規模的工具和基礎設施（比如TensorFlow）來支持我們自己的研究和整個研究生態、以及與谷歌的硬件設計團隊一起協作，幫他們確認他們設計的硬件解決了正確的問題，也是我們的研究重點。
我們的辦公地點在山景城，這就帶來一個好處是可以和很多不同的產品團隊緊密協作，把研究成果送到其它產品團隊以及廣大的谷歌用戶手中。
DeepMind的招聘流程和谷歌的招聘流程是各自獨立的，而且也有比較大的不同。
說了這么多，不過你加入兩個里的哪一個都很好，畢竟兩個團隊做的都是前沿的機器學習研究，也會對世界產生巨大的影響。
網友：卷積深度學習網絡模型需要消耗大量的電力和計算資源，比人類大腦的能源效率要低多了，這種狀況也常常被人們作為“應該多從人腦學習學習”的理由。那么，1，這樣對比公平嗎？如果公平的話，你覺得這種根本的區別是什么原因造成的？2，能源效率是谷歌大腦團隊目前的研究目標或者將來的研究目標之一嗎？如果是的話，你可以說說對這個問題的其它方面的好點子嗎？
Jeff Dean：要說能源效率的話，生物大腦的能源效率確實比目前的機器要高得多，而且計算能力也要多好多。不過，這種區別差別其實沒有表面上那么糟糕，原因是，真實的大腦需要差不多20年的時間來“訓練”，相比之下，機器學習的研究人員就特別的沒耐心，我們想只花一周就拿到結果。如果我們愿意讓實驗周期變成20年而不是一周的話，我們的能源效率也可以提升很多很多。不過顯然我們更喜歡很短的實驗周期，即便我們需要付出能源效率的代價。
網友：你們覺得這個領域下一個最大的難關是什么？
Jeff Dean：目前我們傾向于建造能夠完成一個或者很少的幾個特定任務的機器學習系統（有時候真的是解決了很難的問題，比如從一個語言翻譯到另一種語言）。我覺得我們真正需要建造的是，一個機器學習系統，然后它可以解決成千上萬種不同的問題，而且可以從解決這些問題的經驗中自動學習、解決新的問題；這個過程中模型內不同的部分是根據任務的不同而部分稀疏激活的。想清楚如何做這件事會遇到很多的困難。今年早些時候我在斯坦福大規模機器學習大會（Scaled ML conference）做的一個演講里提到了一些相關的東西，可以從這個PPT的80頁開始看（https://www.matroid.com/scaledml/2017/jeff.pdf ，62頁還有一些背景知識）
網友：你認為反向傳播在未來10年內都還會是神經網絡訓練的主要算法嗎？
Jeff Dean：我覺得是的。從1980年代到現在，反向傳播都一直是神經網絡訓練的主要算法。（詳細可以看 Learning representations by back-propagating errors）。很多人都試著找一些別的、效果更好的方法，然而反向傳播還有如此的生命力，這就是它很可能繼續保持重要地位的證據。
不過，隨機梯度下降這樣的優化神經網絡的一階方法很可能在未來10年內被別的什么東西取代掉。比如James Martens and Roger Grosse發表的 Optimizing Neural Networks with Kronecker-factored Approximate Curvature （http://arxiv.org/abs/1503.05671）看起來就很有希望。
網友：首先謝謝你們白忙之中抽出時間來做這次AMA，我們非常感激有這樣的機會！作為一個愛好者，我發現接觸神經網絡訓練最大的障礙不一定是知識，更多地可能是來自硬件上。我在自己的MacBook上用CPU訓練模型慢得要命，而且那時候我沒法用NVIDIA GPU。從我的角度看，一個愛好者要么需要自己有一塊GPU，要么從GCP這樣的云服務提供商那里租一塊GPU來訓練模型。那么，
1，對于數學科學家、開發者這樣的最終用戶來說，你覺得新TPU在價格和訓練/推理速度方面是怎么樣的？
2，你覺得機器學習硬件未來5年的發展如何？15年呢？
3，用NVIDIA 1080Ti 挖以太坊的礦工一個星期可以掙差不多28美元，在AWS上租同樣的GPU算力要花284美元左右。你覺得有沒有可能給GPU計算建立一個類似AirBnB的市場，把機器學習愛好者和游戲玩家/礦工們連接起來？
Jeff Dean：我們堅信，給機器學習研究者提供更多的計算資源能夠讓他們完成更多事情、嘗試更多需要消耗計算力的點子，并且更快地進步。云TPU就會是一種很棒的按需購買的方式，讓人們能夠獲得巨大的計算力。目前我們沒有開始收費（除了 TensorFlow Research Cloud，它是供愿意公開研究成果的研究者們免費申請的）。
我們覺得機器學習硬件在未來5到10年、乃至更長的時間內都會是一個非常有意思的領域。以后對更高的計算量會有更多的需求，為低精度的線性代數運算專門優化過的硬件也可以給今天的絕大多數深度學習模型帶來更高的速度，所以創造為機器學習優化過的硬件會帶來優秀的性能和更好的能源效率。有不少大公司和許許多多的創業公司都在這個領域內研究著不同的方案，很值得期待。專門優化過的硬件可以是用于靠電池供電的便攜設備的超低功耗的機器學習硬件，也可以是大型數據中心里的機器學習超級計算機。
網友：量子計算如果未來應用在機器學習中，你們覺得總的來說會是什么樣的？對深度學習會有什么特別的影響嗎？
Jeff Dean：我個人的想法是，中短期來講（比如未來10年內）量子計算對深度學習基本不會有什么大的影響。對于其它的機器學習方法來說，量子計算有可能會有影響，如果機器學習方法可以利用量子計算的好處、然后以足夠大的規模運行從而對實際問題做出大的改善的話。我覺得為了滿足深度學習的需求而設計的新型硬件平臺（類似TPU這樣的）對深度學習的影響要大得多。不過我對量子計算也不算多懂啦。
網友：機器學習的發展除了目前熱門的深度學習、人工智能神經網絡之外，還有哪些別的方面值得注意？
Jeff Dean：機器學習領域作為一個整體，在過去的五六年時間里表現出了驚人的成長速度。現在很多人都想學機器學習，NIPS和ICML會場也是爆滿，等等。深度學習當然是人們充滿了興趣的原因之一，不過當更多的人進入這個領域以后，更多的研究成果會出現，而且不僅限于深度學習。比如，強化學習、非凸函數的優化技巧、高斯過程、深度非凸模型的理解等等許許多多的領域也吸引了很多注意力。各種各樣的用在機器學習問題中的計算機系統也吸引了許多興趣，建造適用于機器學習的專用硬件也是（由深度學習驅動的，不過這些硬件也很可能可以幫助其它類型的機器學習算法）。
網友：你們覺得差分隱私會在未來的機器學習研究中起到什么樣的作用？
Jeff Dean：我們團隊目前沒有研究這個，不過我贊同這是一個很有意思的研究領域，也有很大的潛力。
順便說點別的，我這幾年讀的書里有一本特別喜歡的「Beyond Boundaries: The New Neuroscience of Connecting Brains with Machines—and How It Will Change Our Lives」，作者是 Miguel Nicolelis，是杜克大學的神經科學家。我喜歡這本書有一個原因是因為這本書有點像他的實驗室里過去二十年的大事記，而且每一章的實驗和結果都越來越讓人欽佩，看完了以后整個人都覺得“天啊，5年甚至10年以后這些東西都還是很精彩的”。
網友：你們覺得進化計算（基因算法、神經進化、創造性研究等等）未來有可能在商業/主流AI中得到使用嗎？（尤其是帶有很多不可微的組件所以反向傳播沒辦法用的那些問題里）以及，深度學習按理來說要比以前的實現人工智能的方法更好，因為它本質上去掉了機器學習中的特征工程，可是我覺得這些工程方面的努力現在全都跑到了架構工程方面，我們看到很多人花時間用手工試錯的方法找CNN、LSTM、RNN中的最優超參數。那我能不能這樣想，在未來的某個時候，架構工程也會被某種系統化的方法取代？我覺得這件事本質上是不可微的，那么進化計算能在這個方面幫到忙嗎？
Jeff Dean：我確實認為進化學習在未來會占有一席之地。實際上我們也已經開始嘗試想要發現一些模型結構方面的革命性的方法（不過現在還處在很早的階段所以沒有什么可以公開的結果）。我覺得如果要讓這些方法在大型的模型中也能發揮作用的話，可能需要龐大的計算能力才能支持。可以想想現在的模型訓練，每輪訓練在幾百臺計算機上花幾天時間，這對我們的大模型都不是一件常見的事，那么給這種大小的模型做好幾代的進化就肯定還會變得格外的困難。
網友：你覺得機器學習會成為一個真正意義上的隨拿隨用的商用工具嗎？門外漢可以從平臺上選一種算法，然后用算法去跑他們的數據，就在AWS、TensorFlow、Algorithimia 這樣的可以隨時部署的平臺上這樣。如果是的話，短期內就會到來嗎？如果不是的話，為什么呢？
Jeff Dean：我覺得會的。在很多情況下，谷歌的機器學習研究員開發出了新的、有意思的算法和模型，它們可以很好地解決某一類問題。創造出這些新算法、新模型需要對機器學習有相當的知識和見解，但是一旦證明了這些新算法和模型可以在某個領域發揮很好的作用，那么把同一個整體方案拿來解決完全不同領域的相關問題往往是一件簡單的事情。
另外，從研究的角度我覺得有一個很有潛力的領域是，在學習解決某些問題的時候，還能同時學到適當的模型結構的算法和方案。（這和目前多數的深度學習研究都不一樣，目前基本都是人類指定了要選用的模型結構，然后優化過程在確定的模型結構下調整里面的連接的權重，但是學習過程中并不會引入新的神經元或者新的連接）。Net2Net: Accelerating Learning via Knowledge Transfer（http://arxiv.org/abs/1511.05641）這項我們團隊的研究就是這方面的早期成果，我們同時也已經開始探索完全不同的建立模型結構的方式。
如果我們能夠開發出高效的模型來做這些事情的話，對基本沒有機器學習知識的人來說就真的是開啟了直接應用機器學習的大門。
網友：你估計我們離通用AI還有多遠？10分是明天就到了，1分是還有50年的話，1到10分你打幾分？
Jeff Dean：我打6分。不過我不想跟你們討論這個評分是線性的還是對數的。
（完）
感興趣的讀者可以在 Reddit 討論區看看其它谷歌大腦成員的精彩回答
Goolge Brain AMA 2016：https://redd.it/4w6tsv
Google Brain AMA 2017：https://redd.it/6z51xb
雷鋒網 AI 科技評論編譯。
