<mark id="oztn4"></mark>
0
| 本文作者： AI研習(xí)社-譯站 | 2020-12-11 12:02 |
雙語原文鏈接：10 Game-changing AI Breakthroughs Worth Knowing About
從我的AI之旅開始，我發(fā)現(xiàn)了一些具有無窮潛力的想法和概念，它們?cè)谳x煌的歷史上留下了自己的印記。
今天，我決定整理一些最有趣的想法和概念的清單（根據(jù)我自己的經(jīng)驗(yàn)），這些想法和概念讓我這些年來都堅(jiān)持不懈。希望他們也能像激勵(lì)我一樣激勵(lì)你。
因此，讓我們從AI愛好者的“初戀”開始。
每個(gè)使用統(tǒng)計(jì)模型（例如回歸模型和所有模型）的新機(jī)器學(xué)習(xí)（Machin Learning，ML）開發(fā)人員，在首次學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）時(shí)都經(jīng)歷了腎上腺素激增的過程；這是處在深度學(xué)習(xí)的門口。
這里，基本思想是通過編程來模仿生物神經(jīng)元的工作，實(shí)現(xiàn)通用函數(shù)逼近。
神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)這兩個(gè)領(lǐng)域的融合本身就是一個(gè)令人興奮的想法。 我們將在以后進(jìn)行詳細(xì)探討。
數(shù)學(xué)上，突觸和連接如何濃縮為大規(guī)模的矩陣乘法； 神經(jīng)元的放電與激活函數(shù)如何類似，如S函數(shù)（sigmoid）； 大腦中的高級(jí)認(rèn)知抽象和人工神經(jīng)網(wǎng)絡(luò)的黑匣子聽起來如何既神秘又酷。 所有的這些給新的ML開發(fā)人員帶來了希望，這是不可思議的。
在這一點(diǎn)上，新手認(rèn)為：“從根本上說，這種受生物啟發(fā)的技術(shù)可以實(shí)現(xiàn)一切。 畢竟，大自然選擇了執(zhí)行流程的最佳、最有效的方式，難道不是嗎？”
只有在以后的課程中，他們才會(huì)學(xué)習(xí)ANN的部分啟發(fā)方式，因此仍會(huì)有很大的局限性。
從理論上講，一切聽起來都不錯(cuò)，但他們不切實(shí)際的雄心勃勃的夢(mèng)想就消失了，就像在錯(cuò)誤配置的神經(jīng)網(wǎng)絡(luò)訓(xùn)練課程中的梯度一樣（get到這個(gè)點(diǎn)了嗎？哈哈）。
基因算法是另外一類可以應(yīng)用于計(jì)算機(jī)科學(xué)領(lǐng)域的受自然啟發(fā)得到的算法。在這里你會(huì)找到與達(dá)爾文進(jìn)化論有關(guān)所有的術(shù)語，有如-突變，繁衍，人口，交叉，適者生存等等。
這些進(jìn)化算法背后的思想是遵循自然選擇，只有最適應(yīng)環(huán)境的個(gè)體才有機(jī)會(huì)繁衍后代。而為了在人口中增加一些多樣性，最適應(yīng)環(huán)境的個(gè)體所擁有的染色體每過一段時(shí)間就會(huì)隨機(jī)地突變一次。
在這里，“個(gè)體”指的是給定問題的一個(gè)可能的答案
來看一下它的工作流
圖源：來自于作者（使用Canva設(shè)計(jì)出來的）
簡(jiǎn)潔明了，不是嗎？
這個(gè)看起來簡(jiǎn)單的算法在現(xiàn)實(shí)世界中可以應(yīng)用在很多場(chǎng)景，例如-優(yōu)化，遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，某些問題解決任務(wù)的平行化，圖像處理之類的。
盡管有這么多的可行方向，基因算法目前還沒有任何實(shí)際成果。
作為基因算法應(yīng)用的延續(xù)，這一個(gè)當(dāng)然是最令人興奮的，而它也值得擁有一個(gè)獨(dú)立的小節(jié)。
想象存在一個(gè)AI程序可以修改它自身的源代碼。它一次又一次地改進(jìn)著自己，循環(huán)多次，直到它最終實(shí)現(xiàn)了自己的目標(biāo)。
很多人相信，
自我改進(jìn)/編輯代碼+AGI=AI超級(jí)智慧
顯然，要實(shí)現(xiàn)這個(gè)方法還存在有很多困難，但想一下2013年的這個(gè)實(shí)驗(yàn)：一個(gè)基因算法可以用Brainfuck（一種編程語言）來構(gòu)造一個(gè)可以打印出“hello”的程序。
那個(gè)基因算法的源代碼中沒有寫入任何的編程原則，只是一個(gè)樸素，古老的自然選擇算法。在29分鐘之內(nèi)，它生成了這個(gè)-
+++><>.]]]]
當(dāng)你在Brainfuck編譯器中運(yùn)行這段代碼時(shí)，它會(huì)打印“hello”。這個(gè)實(shí)驗(yàn)成功了！
這證實(shí)了基因算法的威力，也展現(xiàn)出了在給予足夠的時(shí)間和計(jì)算資源下它的能力。
回到幾年前，在4854份遞交到NeurIPS的研究論文中，這篇名為“神經(jīng)常微分方程”的論文脫穎而出，成為了最好的4篇論文之一。
它有什么了不起的呢？因?yàn)樗_切地改變了我們對(duì)神經(jīng)網(wǎng)絡(luò)的看法。
傳統(tǒng)意義上的神經(jīng)網(wǎng)絡(luò)擁有的層數(shù)是離散的，同時(shí)依賴于梯度下降和反向傳播來進(jìn)行優(yōu)化（尋找全局最小值）。當(dāng)我們?cè)黾訉訑?shù)時(shí)，我們的內(nèi)存消耗也在增加，但我們不再需要那么做，理論上說。
我們可以從離散層模型轉(zhuǎn)換成連續(xù)層模型-從而擁有無限層。
源：上面提到的研究論文
我們不需要事先確定層數(shù)。而是輸入你想要的精確度然后看著以常數(shù)內(nèi)存為代價(jià)的魔術(shù)發(fā)生。
根據(jù)這篇論文，這個(gè)方法在時(shí)間序列數(shù)據(jù)中（特別是不規(guī)則的時(shí)間序列數(shù)據(jù)）比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的表現(xiàn)都要更好。
源：上面提到的研究論文
利用這種新的技術(shù)，我們可以使用任何常微分方程求解器（OOE Solver），像是歐拉方法來取代梯度上升，使得整個(gè)過程更有效率。
而且正如你所知，時(shí)間序列數(shù)據(jù)無所不在-從證券市場(chǎng)的金融數(shù)據(jù)到醫(yī)療保健產(chǎn)業(yè)，因此一旦這項(xiàng)技術(shù)成熟它的應(yīng)用將十分廣泛。但它目前仍然有待發(fā)展。
希望它能往好的方向發(fā)展吧！
神經(jīng)進(jìn)化是一個(gè)過去的想法，最早可以追溯到二十一世紀(jì)初期，由于最近在強(qiáng)化學(xué)習(xí)的領(lǐng)域中和著名的反向傳播算法進(jìn)行比較而顯示出其前景和發(fā)展。比如在神經(jīng)架構(gòu)搜索，自動(dòng)機(jī)器學(xué)習(xí)，超參數(shù)優(yōu)化等領(lǐng)域。
用一句話來說，“神經(jīng)進(jìn)化是一項(xiàng)利用基因算法改進(jìn)神經(jīng)網(wǎng)絡(luò)的技術(shù)”，不僅僅可以改進(jìn)權(quán)重和參數(shù)，還能改進(jìn)網(wǎng)絡(luò)的（拓?fù)洌┙Y(jié)構(gòu)（最新的研究）。
這是一場(chǎng)梯度下降優(yōu)化算法和進(jìn)化優(yōu)化算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型上的戰(zhàn)役。
源：https：//blog.otoro.net
但我們?yōu)槭裁匆褂盟兀?/p>
因?yàn)椋赨ber最近的研究中（深度神經(jīng)進(jìn)化），他們發(fā)現(xiàn)這項(xiàng)技術(shù)比起反向傳播可以使模型更快的收斂。在比較低端的PC上幾天的計(jì)算時(shí)間可以縮短為幾個(gè)小時(shí)。
如果你正在用梯度下降訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)并卡在了像局部最優(yōu)點(diǎn)或者梯度彌散的地方，那么神經(jīng)進(jìn)化可以幫你得到更好的結(jié)果。
你不需為這項(xiàng)替換付出。在每個(gè)神經(jīng)網(wǎng)絡(luò)被應(yīng)用到的場(chǎng)所，這項(xiàng)技術(shù)都可以被用來優(yōu)化并訓(xùn)練它們。
“兩個(gè)腦袋比一個(gè)腦袋來的要好，不是因?yàn)橛心硞€(gè)腦袋不容易出錯(cuò)，而是因?yàn)樗鼈儾惶赡芊竿环N錯(cuò)誤。"-C.S Lewis
調(diào)整超參數(shù)是一項(xiàng)每個(gè)數(shù)據(jù)科學(xué)家都深惡痛絕的繁瑣而又無聊的任務(wù)。由于神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)黑盒子，我們無法明確地知道我們改變的超參數(shù)會(huì)如何影響一個(gè)網(wǎng)絡(luò)的學(xué)習(xí)。
在2018年，谷歌在自動(dòng)機(jī)器學(xué)習(xí)（AutoML）的世界中作出了一項(xiàng)突破，制作出了一個(gè)叫做NASNet的模型。這個(gè)物品識(shí)別模型擁有82.7%的準(zhǔn)確率，比計(jì)算機(jī)視覺領(lǐng)域內(nèi)的其他任何模型都要高1.2%，同時(shí)效率還要至少高出4%。
最重要的是，它是通過使用強(qiáng)化學(xué)習(xí)的方法，在另外一個(gè)AI的幫助下發(fā)展而成的。
圖源：谷歌研究院
“神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)”。。。這確實(shí)是一個(gè)驚人的想法，你不這么認(rèn)為嗎？
在這里，它的家長(zhǎng)AI叫做Controller network（控制者網(wǎng)絡(luò)），它在數(shù)千次的迭代中逐步培養(yǎng)出其AI孩子。在每次迭代中，它計(jì)算出孩子的性能并使用這個(gè)信息來在下一次迭代中建造一個(gè)更好的模型。
這種創(chuàng)造性的思考方式推動(dòng)了”學(xué)會(huì)學(xué)習(xí)“的概念（或者元學(xué)習(xí)），從而不論是從準(zhǔn)確性還是效率都可以擊敗這個(gè)星球上任何人類所設(shè)計(jì)出來的神經(jīng)網(wǎng)絡(luò)。
想象一下在計(jì)算機(jī)視覺的領(lǐng)域之外它還能做什么。難怪這個(gè)概念激起了人們對(duì)于超級(jí)過載人工智慧最深的恐懼。
GAN是生成式對(duì)抗網(wǎng)絡(luò)的簡(jiǎn)寫，它們可以學(xué)會(huì)模仿任意的數(shù)據(jù)分布。
這是什么意思呢？
在GANs之前，機(jī)器學(xué)習(xí)算法專注于尋找輸入和輸出之間的關(guān)聯(lián)。它們被叫做判別算法。例如，一個(gè)圖像分類器可以區(qū)分蘋果和橙子。
當(dāng)你把一張照片輸入到網(wǎng)絡(luò)中時(shí)，它或返回0（我們讓它指代蘋果）或者返回1（指橙子）。你可以認(rèn)為它在分配標(biāo)簽。它在內(nèi)部創(chuàng)建了一個(gè)模型，確定了哪些特征對(duì)應(yīng)了蘋果，哪些特征對(duì)應(yīng)了橙子，然后吐出一個(gè)帶有一定概率的標(biāo)簽。。
然而。。。盡管它們?cè)趦?nèi)部可能有辦法用某種方式表示蘋果和橙子從而對(duì)它們進(jìn)行比較，但它們沒有辦法生成出蘋果和橙子的圖片。
這里就是GANs拿手的地方。一個(gè)GAN包含了兩個(gè)網(wǎng)絡(luò)-一個(gè)生成器和一個(gè)鑒別器。
沿用之前的例子，如果我們想要生成一張?zhí)O果的照片，那么我會(huì)使用一個(gè)解卷積網(wǎng)絡(luò)來作為我的生成器以及一個(gè)卷積網(wǎng)絡(luò)來作為我的鑒別器。
這個(gè)生成器一開始只會(huì)生成一張隨機(jī)的噪聲圖像并試著讓它看起來像是一個(gè)蘋果。另一方面，鑒別器會(huì)試著鑒別出輸入的圖片是真實(shí)的還是偽造的（由生成器所生成）。
如果鑒別器可以正確地區(qū)分出圖片，那么生成器就要努力改進(jìn)自己去生成出更加真實(shí)的圖片。同時(shí)鑒別器也努力提高自己的判別能力。這意味著，不管如何，改進(jìn)都是不可避免的，問題只是它發(fā)生在鑒別器身上還是生成器身上而已。
這看起來有點(diǎn)像一種雙重反饋循環(huán)。
GANs的復(fù)雜性使得它們難以訓(xùn)練，最近在英偉達(dá)發(fā)布的一篇研究論文中他們描述了一種方法，通過漸進(jìn)地改進(jìn)生成器和鑒別器來訓(xùn)練GANs。（有趣的說法！）。
關(guān)于GAN的機(jī)制我們說的足夠多了，那么我們?cè)撊绾问褂盟兀?/p>
一些酷炫的GAN的應(yīng)用：
使面孔變老
超高分辨率
圖像混合
衣服轉(zhuǎn)換
3D物體生成，之類的。
更多信息可以參見這篇文章。
從零開始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)是需要昂貴的計(jì)算成本，有時(shí)還會(huì)變得非常混亂。但試想一下我們可以從另外一個(gè)以前在其他數(shù)據(jù)集上已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中獲取知識(shí)，并將其重新用在我們新的目標(biāo)數(shù)據(jù)集的訓(xùn)練過程中。
這樣子，我們可以加速在新的領(lǐng)域上進(jìn)行學(xué)習(xí)的過程并且節(jié)省大量的計(jì)算能耗和資源。可以把它想成是一場(chǎng)起點(diǎn)比其他人要靠前的跑步比賽。
不要把你的時(shí)間浪費(fèi)在重復(fù)造輪子上
顯然，你不可以把這項(xiàng)技術(shù)用在兩個(gè)毫不相關(guān)的領(lǐng)域上，但在一些領(lǐng)域上-自然語言處理和計(jì)算機(jī)視覺，使用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)是一種新的規(guī)范
Source：https://www.topbots.com/
計(jì)算機(jī)視覺領(lǐng)域中，在物品偵測(cè)，物品識(shí)別，和圖像分類任務(wù)中，人們會(huì)使用像VGG ConvNet，AlexNet，ResNet-50，InceptionV3，EfficientNet之類的已經(jīng)預(yù)訓(xùn)練好的網(wǎng)絡(luò)。特別是在任務(wù)剛開始的階段。
即使是在像神經(jīng)風(fēng)格轉(zhuǎn)移（NST）這樣的任務(wù)上，你可以使用VGG19來迅速獲取內(nèi)在表示從而節(jié)省時(shí)間。
在如情感識(shí)別和語言翻譯的NLP任務(wù)中，各類的不同詞向量嵌入方法如斯坦福的GloVe（表示詞匯的全局向量）或者谷歌的Word2Vec都是標(biāo)配。
我不想提及那些最新的語言模型（那些大家伙）如谷歌的BERT，OpenAI的GPT-2（生成式預(yù)訓(xùn)練Transformer），和全能的GPT-3。他們都是在我們這些平民難以想象的海量的信息中訓(xùn)練出來的。他們幾乎把整個(gè)網(wǎng)絡(luò)作為他們的輸入數(shù)據(jù)集并花費(fèi)了數(shù)百萬美元來進(jìn)行訓(xùn)練。
從這一點(diǎn)而言，它看起來像是未來我們使用的預(yù)訓(xùn)練網(wǎng)絡(luò)。
在看了那么多軟件世界的進(jìn)展之后，我們來關(guān)注一下硬件部分。
但在那之前，先來看一下這個(gè)荒謬的對(duì)比。。。
人類的腦子里平均有860億個(gè)神經(jīng)元和大約1千萬億突觸。直觀地說，你實(shí)際上可以通過解開你的腦子來到達(dá)月球（用400000千米長(zhǎng)的神經(jīng)纖維）。
如果你想要模擬你的腦子，你需要消耗大量的計(jì)算能源（1百億億次運(yùn)算），這是在現(xiàn)有的技術(shù)水平上無法實(shí)現(xiàn)的。
即使是最強(qiáng)大的超級(jí)計(jì)算機(jī)也無法實(shí)現(xiàn)這么大的運(yùn)算量，更別提我們的大腦僅僅需要20瓦的電力（比點(diǎn)燃一個(gè)燈泡還少）就可以做到這種程度。
為什么？因?yàn)椤奔軜?gòu)“
圖源：https://randommathgenerator.com/
你知道嗎，今天我們用到的每一臺(tái)計(jì)算機(jī)都是基于一個(gè)有75年歷史的架構(gòu)，即馮諾依曼架構(gòu)。在這個(gè)架構(gòu)中，內(nèi)存和處理器是相互分離的，這使得我們?cè)趫?zhí)行大運(yùn)算量的任務(wù)，如大型矩陣乘法，時(shí)存在著性能瓶頸。
這個(gè)馮諾依曼瓶頸的產(chǎn)生是因?yàn)槲覀儓?zhí)行一系列指令的時(shí)候傳入輸入和得到輸出的過程是有順序的。但在我們的腦子中，進(jìn)行記憶和處理的單元本質(zhì)上是同一個(gè)，這使得它可以用閃電般的速度處理巨量的數(shù)據(jù)同時(shí)只需要消耗極小量的能量。在這里，連接記憶和處理單元的就是記憶本身。
有一些公司例如IBM和Intel正嘗試模擬一個(gè)像我們生物的腦子一樣的架構(gòu)。它最終會(huì)催生出一種新的計(jì)算方式，神經(jīng)形態(tài)計(jì)算。
使用多塊GPU和TPU的日子就要到頭了。我真的迫不及待那一天的到來！
進(jìn)展：IBM的真北芯片和Intel的神經(jīng)形態(tài)芯片。
當(dāng)你聽到有人嘶喊到“總有一天，AI會(huì)把我們都?xì)⒐狻！蹦敲赐ㄓ萌斯ぶ悄茏钣锌赡茏龀鲞@樣的事情。
為什么？
因?yàn)楝F(xiàn)在我們正在處理的是“弱人工智能”意思是我們現(xiàn)在的模型在它們的特定領(lǐng)域之外一無是處。但是，全球的科學(xué)家和研究人員都在致力于產(chǎn)生一種可以完成各類任務(wù)，或者能學(xué)會(huì)完成幾乎任何給定任務(wù)的人工智能。
如果他們成功了，可以預(yù)測(cè)到的是，這會(huì)導(dǎo)致智慧爆炸，遠(yuǎn)超人類的智慧并最終催生出超級(jí)智能。
當(dāng)這件事發(fā)生的時(shí)候，那個(gè)超級(jí)智能會(huì)變成一個(gè)擁有知覺，自我意識(shí)，以及更高的認(rèn)知能力的存在。
源：https://www.theverge.com(實(shí)在忍不住放上這張照片）
之后會(huì)發(fā)生什么？只有天知道。
有一個(gè)專門的詞來形容這種情況。Singularity是一個(gè)假設(shè)的時(shí)間點(diǎn)，到那個(gè)時(shí)候技術(shù)發(fā)展會(huì)變得不可控且不可逆，最終對(duì)人類文明產(chǎn)生不可預(yù)見的改變。-維基百科
我們不能簡(jiǎn)單地停止它的發(fā)展嗎？不。
人工智能就像是今天的電能一樣。我們對(duì)它擁有著重度依賴，停止它的發(fā)展就像是回到黑暗時(shí)代。此外，沒有國(guó)家會(huì)停止它的發(fā)展因?yàn)橛幸环N共同的心態(tài)-”即使我們不發(fā)展，他們也會(huì)“-就像我們制造具有大規(guī)模殺傷力的核武器時(shí)的心態(tài)。
埃隆馬斯克的擔(dān)心并非空穴來風(fēng)。他是認(rèn)真的。
我覺得已經(jīng)說出了一些制造一個(gè)完美AI的方法的要點(diǎn)。但誰在乎呢？除非我們有辦法和他們共存。
我希望在Neuralink工作的人們能夠在世界末日之前完成他們的人腦-機(jī)器接口。且埃隆馬斯克設(shè)法在不把我們的腦子暴露給新世代黑客的情況下使用它。
為了一個(gè)烏托邦式的未來，我們可以暫時(shí)停止?fàn)幷摗Ｗ詈笪蚁胝f，我非常享受寫這一篇文章，我希望你也能樂在其中。
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機(jī)構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實(shí)戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺(tái)，致力成為中國(guó)最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長(zhǎng)。
