人物 | Ian Goodfellow親述GAN簡史：人工智能不能理解它無法創(chuàng)造的東西

黑馬_御風 2017-04-13

展開全文

選自Wired

作者：Cade Metz

機器之心編譯

參與：黃小天、蔣思源

著名物理學家、加州理工學院教授以及暢銷書作者理查德·費曼（ Richard Feynman）離開人世的那一天，其教室的黑板上寫著：「我不能創(chuàng)造的，我也不理解（What I cannot create, I do not understand）?！?/span>

當 Ian Goodfellow 解釋其在谷歌大腦正進行的研究時，他引用了費曼的這一格言，但他指代的不是自己或者谷歌的任何員工，而是機器：「人工智能不能創(chuàng)造的，其也不理解（What an AI cannot create, it does not understand）?！?/span>

Goodfellow 是當今人工智能領域最重要的研究者之一，在 OpenAI （谷歌大腦的競爭者，由 Elon Musk 和 Sam Altman 聯(lián)合創(chuàng)建）短暫工作之后，他又重返谷歌，組建一個新的研究團隊探索「生成模型」，其可以創(chuàng)建圖片、聲音和真實世界的其他表征。 Goodfellow 同意費曼的觀點，認為這一努力是實現(xiàn)所有人工智能的一條重要路徑。

Ian Goodfellow 說：「這會促進人工智能學習真實存在的世界結構?！?/span>

「如果人工智能對世界的想象包含真實細節(jié)，即懂得如何生成真實的圖像和聲音，這會促進人工智能學習真實存在的世界結構。」Goodfellow 解釋說?！甘澜缃Y構可以幫助人工智能理解其看到的圖像或聽到的聲音?！?/span>

2014 年 Goodfellow 還是蒙特利爾大學的一名博士生，在酒吧的一次醉酒爭論后，他就已在構想著一種稱為「生成對抗網(wǎng)絡」或者 GAN 的人工智能技術。然而，醉酒帶來了靈感，這是一個十分優(yōu)雅的想法：第一個人工智能創(chuàng)造逼真圖像，第二個人工智能分析其結果，并確定這張圖像是真是假。Goodfellow 說：「你可以將此看作是一位藝術家（生成模型）和一位藝評家，藝術家想要愚弄藝評家，使其相信藝術家的生成的圖像是真的?！褂捎诘诙€人工智能在鑒別圖像真假上十分賣力，第一個人工智能可從其學到通過自學無法學到的方式來仿制逼真圖像。在這一過程中，這兩個神經(jīng)網(wǎng)絡不斷推動人工智能前進直到有一天計算機可以脫離人類的指導而存在。

監(jiān)管 Facebook 整個人工智能研究的 Yann LeCun 說：「GAN 是近 20 年來深度學習領域誕生的最酷想法?！股疃葘W習是人工智能的一個分支，其改變了包括谷歌、微軟、亞馬遜以及 Facebook 在內(nèi)的所有互聯(lián)網(wǎng)巨頭的發(fā)展發(fā)向。Goodfellow 的想法仍然有待完善，但已快速擴展到整個人工智能領域。許多研究者，包括 LeCun，認為他們可以通過它實現(xiàn)「無監(jiān)督學習」。即這一人工智能研究領域的偉大抱負：實現(xiàn)無需人類直接干預的機器學習。

步入正軌

Goodfellow 是在 Les 3 Brasseurs 酒吧（或者 The 3 Brewers）有了 GAN 的最初想法，當時他的朋友 Razvan Pascanu （現(xiàn)在是DeepMind 的一名研究員）博士畢業(yè)， Goodfellow 和許多其他朋友為其送行。他們中的一個人正在描述一個新的研究項目，致力于從數(shù)學上界定照片中的一切，即把關于照片的統(tǒng)計學數(shù)據(jù)輸入到一臺機器從而使其自行創(chuàng)建圖片。Goodfellow 認為有點詭異，說這永遠不會奏效——因為有太多的統(tǒng)計學數(shù)據(jù)要考慮以至于沒有一個人可以全部記錄下來。但是在這時，他想到了一個更好的方法：神經(jīng)網(wǎng)絡可以教會機器如何創(chuàng)建真實的圖片。

神經(jīng)網(wǎng)絡是一個復雜的數(shù)學系統(tǒng)，其通過分析大量的數(shù)據(jù)以學習任務，比如圖片中的人臉識別和理解口頭語言。站在酒吧之中時， Goodfellow 想到，當?shù)谝粋€神經(jīng)網(wǎng)絡學習創(chuàng)建真實圖片時，第二個可以扮演敵手，鑒定這些被生成圖片的真?zhèn)危⑵渑袛嗷仞伣o第一個神經(jīng)網(wǎng)絡。通過這種方式，他說，可以最終教會第一個神經(jīng)網(wǎng)絡生成與真實圖像難以區(qū)分的偽造圖片。

Goodfellow 的朋友開始反駁，其也同樣堅持 Goodfellow 的方法并不奏效。所以當 Goodfellow 晚上回到家后，他構建了 GAN。他還記得「回到家還是有點醉，我就坐在那思考朋友在酒吧說的是錯的！后來我徹夜未眠并在筆記本上編寫GAN?！笹oodfellow 說的這個代碼是第一次嘗試。他說：「我非常幸運，因為如果當時這個模型失敗，也許就放棄了這一個想法?！?/span>

他和其他一些研究人員發(fā)表了一篇論文，描述那年晚些時候的思潮。隨后三年，其他數(shù)百篇論文探討了這一概念。在第一篇論文中，兩個神經(jīng)網(wǎng)絡就能產(chǎn)生可以生成手寫數(shù)字的逼真圖像系統(tǒng)?，F(xiàn)在，研究人員將這一概念應用到從貓到火山再到整個星系等一切事物的圖像中。它甚至能協(xié)助天文實驗的開展和局部物理學的模擬。

但實現(xiàn)還是非常困難。因為這一系統(tǒng)訓練的神經(jīng)網(wǎng)絡不是一個，而是同時訓練兩個。在谷歌，當 Goodfellow 組建了一個聚焦于 GAN 及其相關研究的團隊時，希望精煉研究進程。Goodfellow 說：“作為一名機器學習研究者，我所必須面對的是研究出十分可靠的訓練方式?！?/span>

最后的結果：遠遠不只是生成圖片和聲音，還能識別圖像與聲音，這是一條實現(xiàn)優(yōu)秀系統(tǒng)的路徑——只需少量人類干預就能學習到更多知識。Goodfellow 說：“這些模型學習理解世界的結構，并在沒有過多明確告知的情況下幫助系統(tǒng)學習?！?/span>

GAN 甚至可以實現(xiàn)無監(jiān)督學習，這在今天并不真實存在。目前，神經(jīng)網(wǎng)絡能通過分析數(shù)百萬張貓的照片而識別出貓，但前提是人類必須在之前小心地區(qū)分圖像并為貓的照片做上標注。實際上人類在識別過程中參與很多，這也經(jīng)常是一個難題，即這一問題是有偏見的還是在訓練人工智能時確實需要人工干預。像 LeCun 那樣的研究者正努力推動無需大量人工干預就能學習的系統(tǒng)，這會加速人工智能的發(fā)展。

但這僅僅只是開端。GAN 同時還將帶來更多的可能性。南加利福尼亞大學的人工智能研究員 David Kale 認為，這一想法可以幫助他及其研究同事在不侵犯患者隱私的情況下構建健康醫(yī)療人工智能?；旧?，GAN 可以生成偽造（fake ）的健康醫(yī)療記錄。機器學習系統(tǒng)可以在這些偽造的數(shù)據(jù)而不是真實數(shù)據(jù)上進行訓練。Kale 說：“我們不能將患者數(shù)據(jù)放入到人人可用的網(wǎng)上，那么為什么我們不在偽造數(shù)據(jù)上訓練 GAN，并創(chuàng)建一個完全合成的數(shù)據(jù)集再開放用于其它研究呢？通過這樣的方式，任何在合成數(shù)據(jù)集訓練的模型與在原始數(shù)據(jù)訓練的不會有什么區(qū)別，我們有什么理由不這樣做呢？”

雖然許多研究者在探索 GAN 背后的思想，但 Goodfellow 正打算在谷歌建立一個專門團隊。Goodfellow 是離開谷歌到OpenAI（該實驗室承諾與世界分享其研究）的研究者之一。但不到一年，他又回到了谷歌，因為他的合作者幾乎都在那里。Goodfellow 說：“在視頻通話中花費一天的時光并不有趣。這并不是完成工作的最佳方法?！?/span>

分享很重要，密切合作也是——不管是人工智能研究者還是神經(jīng)網(wǎng)絡。