揭秘 | 谷歌自動(dòng)化機(jī)器學(xué)習(xí)真的那么神嗎？

7月24日，在Google Cloud Next大會(huì)上，Google帶來Cloud AutoML的全新進(jìn)展，又成功吸引一大波注意。

Google AI首席科學(xué)家李飛飛宣布，推出正式版的Cloud AutoML Vision，同時(shí)，新增用作自然語言處理的AutoML Natural Language和用作翻譯的AutoML Translation。至此Google Cloud AutoML擁有視覺、自然語言處理、翻譯等多種服務(wù)。

對(duì)于承載著AI民主化使命的AutoML，大多數(shù)媒體都是一片贊譽(yù)。而fast.ai創(chuàng)始者之一Rachel Thomas特意撰寫三篇博文對(duì)AutoML的局限進(jìn)行反思。為了深入理解AutoML，雷鋒網(wǎng)也特意采訪了一些國(guó)內(nèi)致力于AutoML的公司，一起探討AutoML真的是AI的未來，還是大家期望過高？創(chuàng)業(yè)公司要進(jìn)入AutoML領(lǐng)域如何與大公司競(jìng)爭(zhēng)？

AutoML 真的是給小白的嗎？

要完成一個(gè)機(jī)器學(xué)習(xí)項(xiàng)目，不管是圖像識(shí)別、語音識(shí)別還是自然語言處理，其實(shí)現(xiàn)的過程都需要包括：數(shù)據(jù)預(yù)處理、特征選擇、模型算法選擇、調(diào)參、上線后模型的再優(yōu)化、效果評(píng)估。

人工設(shè)計(jì)機(jī)器學(xué)習(xí)模型的過程中，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是一大難點(diǎn)，需要設(shè)計(jì)師非常有經(jīng)驗(yàn)。Google CEO Sundar Pichai曾經(jīng)這樣介紹AutoML，“目前，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)非常費(fèi)時(shí)，并且需要專家只在科學(xué)和工程領(lǐng)域中的一小部分進(jìn)行研究，為了解決這一問題我們創(chuàng)造了一種名為AutoML的工具，有了它，神經(jīng)網(wǎng)絡(luò)可以設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。”

據(jù)Google介紹，Google Cloud AutoML有三大核心技術(shù)：神經(jīng)架構(gòu)搜索技術(shù)（Neural Architecture Search Technology）、learning2learn以及遷移學(xué)習(xí)（transfer learning）。Cloud AutoML主要承擔(dān)了機(jī)器學(xué)習(xí)中特征選擇、模型算法選擇以及調(diào)參部分。神經(jīng)架構(gòu)搜索技術(shù)可以自動(dòng)搜索出一個(gè)好的參數(shù)+神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)組合，而遷移學(xué)習(xí)則可以記住最終開發(fā)者認(rèn)可的模型，下一次可以做得更好更快。

雷鋒網(wǎng)也曾發(fā)文分析，Google Cloud AutoML中的神經(jīng)架構(gòu)搜索技術(shù)用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的方式其實(shí)就是如下圖所示：

左邊有一個(gè)名為「控制器」（the controller）的 RNN，它設(shè)計(jì)出一個(gè)「child」的模型架構(gòu)（雷鋒網(wǎng)覺得可以稱之為「雛形/子架構(gòu)」），而后者能夠通過某些特定任務(wù)進(jìn)行訓(xùn)練與評(píng)估。隨后，反饋的結(jié)果（feedback）得以返回到控制器中，并在下一次循環(huán)中提升它的訓(xùn)練設(shè)定。這一過程重復(fù)上千次——生成新的架構(gòu)、測(cè)試、再把反饋輸送給控制器再次學(xué)習(xí)。最終，控制器會(huì)傾向于設(shè)計(jì)那些在數(shù)據(jù)集中能獲得更高準(zhǔn)確性的架構(gòu)，而反之亦然。

AutoML Vision是Google Cloud AutoML的首個(gè)版本，據(jù)Google介紹，即使是沒有機(jī)器學(xué)習(xí)專業(yè)知識(shí)的小白，只需了解模型基本概念，就能借這項(xiàng)服務(wù)輕松搭建定制化的圖像識(shí)別模型。只需在系統(tǒng)中上傳自己的標(biāo)簽數(shù)據(jù)，就能得到一個(gè)訓(xùn)練好的機(jī)器學(xué)習(xí)模型。整個(gè)過程，從導(dǎo)入數(shù)據(jù)到標(biāo)記到模型訓(xùn)練，都可以通過拖放式界面完成。

聽起來很厲害，不少人對(duì)AutoML Vision也是一片贊譽(yù)，特別是李飛飛和李佳也都對(duì)此寄予厚望。李飛飛在2018年發(fā)布Google Cloud AutoML時(shí)，說到：“在差不多一年多以前我們兩個(gè)人共同加入谷歌云的時(shí)候，我們都心懷一個(gè)使命，那就是讓 AI 平民化。我們的目標(biāo)是降低 AI 的使用門檻，讓 AI 對(duì)盡可能多的開發(fā)者、研究者和商業(yè)用戶來說變得觸手可及。”

李飛飛表示谷歌AutoML是在TensorFlow和Cloud Vision API之間的產(chǎn)品，能讓非專業(yè)機(jī)器學(xué)習(xí)人士根據(jù)需求開發(fā)機(jī)器學(xué)習(xí)模型，這個(gè)定位如何理解，什么樣的人用TensorFlow，什么樣的人用Cloud Vision，以及什么樣的人用AutoML？

智鈾科技創(chuàng)始人夏粉告訴雷鋒網(wǎng)，TensorFlow比較適合于算法科學(xué)家，適合于有一定機(jī)器學(xué)習(xí)基礎(chǔ)的人用來研究算法以及應(yīng)用。Cloud Vision適合于關(guān)心AI應(yīng)用的人，希望用AI模型直接解決應(yīng)用場(chǎng)景問題，比如說像人臉識(shí)別，直接拿API進(jìn)行人臉識(shí)別，這里的模型是已經(jīng)建好的模型。AutoML介于兩者之間，它適用于機(jī)器學(xué)習(xí)背景較弱或者沒相關(guān)經(jīng)驗(yàn)的人來建模，根據(jù)手頭場(chǎng)景數(shù)據(jù)，建立針對(duì)該場(chǎng)景的模型。可以說TensorFlow研究如何建模，AutoML是幫助建模，Cloud Vision是直接使用模型。

有不少媒體在報(bào)道AutoML時(shí)都寫到，無需寫一行代碼就能自動(dòng)生成機(jī)器學(xué)習(xí)模型，這或許有些言過其實(shí)，即使AutoML不寫代碼也能用，但是沒有經(jīng)驗(yàn)的人不太可能從中獲得想要的結(jié)果。

AutoML有哪些限制

Rachel Thomas在博文中分析到，Google Cloud AutoML目前還有不少限制。第一個(gè)最大的限制就是其需要大量的算力，Google 采用的神經(jīng)架構(gòu)搜索方法需要用500GPU訓(xùn)練4天。在2018年3月的TensorFlow開發(fā)者峰會(huì)上，Jeff Dean表示在未來，Google Cloud將會(huì)以100倍的算力取代機(jī)器學(xué)習(xí)專家，而對(duì)于算力有強(qiáng)大要求的神經(jīng)架構(gòu)搜索就是例證。

其次，機(jī)器學(xué)習(xí)的步驟很復(fù)雜，數(shù)據(jù)清洗和模型訓(xùn)練是機(jī)器學(xué)習(xí)中最為耗時(shí)的部分，雖然AutoML解決了模型的訓(xùn)練，但是數(shù)據(jù)清洗依然對(duì)數(shù)據(jù)科學(xué)家有很高的要求。

此外，神經(jīng)架構(gòu)搜索要做的是尋找新的架構(gòu)，而目前大多數(shù)人其實(shí)并不需要全新的架構(gòu)，通過遷移學(xué)習(xí)已知的架構(gòu)就能解決問題。

云腦科技核心算法工程師徐昊告訴雷鋒網(wǎng)，AutoML目前還面臨三個(gè)問題。第一是計(jì)算量：目前的AutoML優(yōu)化算法要能發(fā)揮效能，在超參數(shù)空間中要能夠采樣足夠多的點(diǎn)。每一個(gè)采樣點(diǎn)都是一種超參數(shù)的配置，需要經(jīng)過一次完整的訓(xùn)練過程。在較大的項(xiàng)目，如在線CTR預(yù)估中，模型大數(shù)據(jù)大，每一次完整的訓(xùn)練都很耗資源。這種情況下，使用AutoML進(jìn)行自動(dòng)調(diào)優(yōu)耗時(shí)極長(zhǎng)，往往不是項(xiàng)目周期所能接受的。

二是局限性：AutoML算法目前主要針對(duì)的是調(diào)參，以及部分特征抽取方面的問題，可以說只是機(jī)器學(xué)習(xí)項(xiàng)目中的一個(gè)環(huán)節(jié)。在實(shí)踐中要搭建一個(gè)能夠落地的模型，還有很多因素需要考慮。例如對(duì)于不同類型數(shù)據(jù)，如何選取合適的模型；模型大小，特征選擇與最終deloy時(shí)serving延時(shí)的trade off等等。

三是人類工程師的參與：AutoML在當(dāng)前的狀態(tài)下，在大項(xiàng)目中完全取代人類工程師難度是很大的。我們認(rèn)為較好的方式，應(yīng)該是AutoML能夠與人類工程師協(xié)作，AutoML的優(yōu)化算法能夠展示調(diào)參過程與方向，便于工程師參與介入。并且提供合適的接口，將人工經(jīng)驗(yàn)引入自動(dòng)學(xué)習(xí)的過程。

AutoML還將有哪些細(xì)分服務(wù)？

與AutoML Vision同理，AutoML Natural Language和AutoML Translation也是為了促進(jìn)AI民主化，讓更多的公司和開發(fā)者能夠輕松打造自己的自然語言處理應(yīng)用，或者是AI翻譯應(yīng)用。

Cloud AutoML Natural Language能夠用于自動(dòng)預(yù)測(cè)客戶所需要的自定義文本類別，比如美國(guó)出版與多元化傳媒巨頭赫斯特集團(tuán)（Hearst）就在使用Google的這項(xiàng)新工具對(duì)其內(nèi)容進(jìn)行管理，他們的高級(jí)副總裁Esfand Pourmand表示，這個(gè)工具能夠讓赫斯特生成自定義的AI模型應(yīng)用于內(nèi)容管理，其精度高于其他方案。

Cloud AutoML Translation則可以為客戶提供定制化的翻譯需求，日本經(jīng)濟(jì)新聞社（Nikkei Group）數(shù)字業(yè)務(wù)常務(wù)董事Hiroyuki Watanabe表示，Cloud AutoML Translation這項(xiàng)工具能夠快速對(duì)內(nèi)容進(jìn)行定制化的翻譯，其準(zhǔn)確率“讓人印象深刻”。

Google Cloud研發(fā)負(fù)責(zé)人李佳談到，“至此，AutoML可以為各行各業(yè)缺乏AI經(jīng)驗(yàn)的企業(yè)和開發(fā)者提供自動(dòng)生成圖像、語言、翻譯功能。AutoML的注冊(cè)用戶也已經(jīng)超過18，000家，服務(wù)行業(yè)橫跨媒體、零售、金融、保險(xiǎn)、能源、醫(yī)療、環(huán)境等等。”

為什么谷歌要針對(duì)不同的應(yīng)用場(chǎng)景推出相應(yīng)的AutoML版本？

云腦科技中國(guó)區(qū)數(shù)據(jù)算法負(fù)責(zé)人黃頌認(rèn)為，不同領(lǐng)域的數(shù)據(jù)處理，特征抽取，模型選擇與調(diào)優(yōu)過程差別較大。例如NLP模型中，需要抽取很多與語法有關(guān)、甚至與關(guān)鍵詞在句中文中的位置有關(guān)的特征。而Vision模型中，需要抽取與圖像histogram有關(guān)的特征，差異較大。Google推出的細(xì)分場(chǎng)景的AutoML，應(yīng)該能夠提高自動(dòng)學(xué)習(xí)在各領(lǐng)域的效率。至于先推出AutoML Vision是因?yàn)轱w飛更懂vision。相對(duì)于自然語言領(lǐng)域來說，圖像視覺領(lǐng)域目前研究更加充分，數(shù)據(jù)集也更加豐富。另外，圖像和語音領(lǐng)域可以獲得更加原始的數(shù)據(jù)信息，而自然語言的文本其實(shí)已經(jīng)是經(jīng)過人腦處理和抽象的結(jié)果，前者更容易為神經(jīng)網(wǎng)絡(luò)所處理。

但對(duì)于AutoML來說，背后很多技術(shù)是相通的。從AutoML Vision獲得的經(jīng)驗(yàn)，也可以遷移。根據(jù)谷歌的介紹，新出的兩個(gè)系列應(yīng)該也是搭建在AutoML引擎中的自動(dòng)調(diào)優(yōu)和Transfer Learning兩大模塊之上，是各自細(xì)分領(lǐng)域的升級(jí)版。

AutoML的本質(zhì)是利用優(yōu)化算法代替人類工程師進(jìn)行模型調(diào)優(yōu)等工作，從而降低專家成本。在細(xì)分領(lǐng)域上，如果該領(lǐng)域的數(shù)據(jù)特點(diǎn)和處理流程比較獨(dú)特（因而不能直接套用其它領(lǐng)域的AutoML方案），或者人類專家在解決此領(lǐng)域問題時(shí)存在大量機(jī)械重復(fù)無創(chuàng)造性的勞動(dòng)，那這部分工作就很有可能將來被AutoML取代掉。

夏粉認(rèn)為就像ML（機(jī)器學(xué)習(xí)）里的研究點(diǎn)非常多一樣，AutoML里也有很多可研究的技術(shù)。并且技術(shù)會(huì)不斷更新進(jìn)步，每個(gè)場(chǎng)景下適用的數(shù)據(jù)、特征、算法以及應(yīng)用過程都不一樣，需要針對(duì)性的AutoML版本，不同場(chǎng)景要用不同的機(jī)器學(xué)技術(shù)來做。AutoML的技術(shù)也會(huì)逐漸深入細(xì)分，比如AutoML Vision里面有AutoML圖像和AutoML視頻，NLP里面也有中文和英文。

創(chuàng)業(yè)公司入局AutoML

Google將自家的項(xiàng)目取名為Google Cloud AutoML，在名字上占了很大的便利，以至于現(xiàn)在很多人以為AutoML就是Google家的。

AutoML的概念其實(shí)源自于2012年學(xué)術(shù)界提出的新觀念——Programming by Optimization（PbO），意在解決編程時(shí)人工調(diào)校參數(shù)的問題。學(xué)界和業(yè)界對(duì)AutoML已有諸多的實(shí)踐，我們也看到了一些產(chǎn)品，例如微軟的CustomVision.AI、國(guó)內(nèi)智鈾科技的“小智”、云腦科技的Deepro平臺(tái)。

雷鋒網(wǎng)好奇，在這個(gè)領(lǐng)域，創(chuàng)業(yè)公司如何與大公司競(jìng)爭(zhēng)?

夏粉告訴雷鋒網(wǎng)，我覺得跟Google AutoML做差異化競(jìng)爭(zhēng)的話，一個(gè)是說AutoML技術(shù)點(diǎn)非常多，那么創(chuàng)業(yè)公司可以從里面挑一個(gè)點(diǎn)然后集中精力去做，解決某一類AutoML問題，把它做到商業(yè)化、做到垂直化。第二個(gè)是說Google AutoML這個(gè)策略主要是配合Google Cloud平臺(tái)，希望讓更多客戶使用Google Cloud。而對(duì)于創(chuàng)業(yè)公司的話可以注重于私有化部署這塊市場(chǎng)，可以做一些非云方面的事情。第三個(gè)是可以做不同行業(yè)的AutoML解決方案（比如說金融行業(yè)，安全行業(yè)，營(yíng)銷行業(yè)，我們也有針對(duì)不同行業(yè)的版本），專門為了一個(gè)垂直行業(yè)而降低機(jī)器學(xué)習(xí)的門檻。對(duì)于智鈾來說，類似 AutoML Vision 和NLP這種類似的產(chǎn)品未來可能會(huì)做，眼前還是做跟Google有些差異化的產(chǎn)品。

云腦科技核心算法工程師徐昊表示，Google的AutoML是搭配在其云平臺(tái)上進(jìn)行銷售的。用戶使用AutoML的時(shí)間越長(zhǎng)，Google Cloud的收益也越大。然后對(duì)于普通公司，往往不一定有Google Cloud那樣的計(jì)算資源。即便擁有大量的計(jì)算，往往也限于項(xiàng)目的周期限制，對(duì)現(xiàn)有AutoML的計(jì)算效率有更高的要求。

在計(jì)算資源不是賣點(diǎn)的情況下，往往需要中小創(chuàng)業(yè)公司給出更精細(xì)化的AutoML方案。云腦在研發(fā)AutoML產(chǎn)品的時(shí)候有三個(gè)優(yōu)化方向。首先是更高效，我們?cè)诟顚哟芜M(jìn)一步降低AutoML的計(jì)算量，讓自動(dòng)調(diào)參能夠達(dá)到工程實(shí)踐的需求。其次是更全面，通盤考慮了整個(gè)ML流程落地的全局因素，進(jìn)行全局優(yōu)化。其三高透明度，更注重AutoML的工具性，讓人類工程師能夠更好的觀察與介入。

看來，正如很多行業(yè)人士對(duì)雷鋒網(wǎng)所說，人工智能是一個(gè)全新的時(shí)代，目前還沒有出現(xiàn)真正的類似互聯(lián)網(wǎng)時(shí)代的巨頭，能夠直接霸占所有的領(lǐng)域。新的時(shí)代，新的機(jī)遇，正適合創(chuàng)業(yè)公司開辟自己的土壤。

 

相關(guān)文章：

谷歌大腦撰文解析 AutoML：神經(jīng)網(wǎng)絡(luò)如何自行設(shè)計(jì)神經(jīng)架構(gòu)？ | Google I/O 2017

李飛飛發(fā)文發(fā)布谷歌云AutoML Vision平臺(tái)，訂制化的企業(yè)級(jí)機(jī)器學(xué)習(xí)模型不再是難題

成立一年發(fā)布 AutoML 商用產(chǎn)品“小智”，智鈾科技希望降低機(jī)器學(xué)習(xí)門檻

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。