|
新智元編譯 來源：quora 譯者：聞菲 胡祥杰 吳蔚 【新智元導(dǎo)讀】Facebook AI實(shí)驗(yàn)室負(fù)責(zé)人、深度學(xué)習(xí)三駕馬車之一的Yann LeCun今天（沒有錯(cuò)，就在幾個(gè)小時(shí)之前?。┰赒uora上回答提問，有一萬多人提問。LeCun在回答中闡述了深度學(xué)習(xí)在短期內(nèi)值得期待的突破、人工智能未來5到10年的發(fā)展，以及他對(duì)深度學(xué)習(xí)自學(xué)者的建議。LeCun認(rèn)為Hinton的網(wǎng)上公開課現(xiàn)在“有點(diǎn)過時(shí)”了。本次問答，LeCun還談到了深度學(xué)習(xí)在理論上的突破、目前深度學(xué)習(xí)是否存在泡沫，以及Facebook 的AI研究的與眾不同之處。 深度學(xué)習(xí)的局限在哪里？ “經(jīng)典的”深度學(xué)習(xí)包括各種各樣的前向傳播（feed-forward）模型（通常是卷積神經(jīng)網(wǎng)絡(luò)）和遞歸神經(jīng)網(wǎng)絡(luò)的組合（有些時(shí)候還有記憶單元，比如LSTM或者M(jìn)emNN）。 所有這些模型的“推理”（reason）能力都有限，也就是說進(jìn)行很長串的inference或優(yōu)化過程以達(dá)到一個(gè)結(jié)果的能力十分有限。計(jì)算的步驟受前向傳播網(wǎng)絡(luò)的層數(shù)限制，經(jīng)過一段時(shí)間一個(gè)卷積網(wǎng)絡(luò)就會(huì)有一定的記憶。 要讓深度學(xué)習(xí)系統(tǒng)學(xué)會(huì)推理，我們需要調(diào)整模型，使其不止得出一個(gè)單一的結(jié)果（比如對(duì)一幅圖像的描述，或者對(duì)一句話的翻譯等等），而是得出一組不同的輸出（比如一句話有好幾種翻譯的方法）。這就是基于能量的模型派上用場的地方：每個(gè)configuration都給你一組不同的參數(shù)去inference?；谀芰康哪Ｐ鸵粋€(gè)很好的例子就是因子圖（factor graph）。將學(xué)習(xí)系統(tǒng)和因子圖相結(jié)合的方法被稱為機(jī)器學(xué)習(xí)的“結(jié)構(gòu)化預(yù)測”（structured prediction）。過去有很多人提議將神經(jīng)網(wǎng)絡(luò)和結(jié)構(gòu)化預(yù)測結(jié)合在一起，最早在上世紀(jì)90年代初就有這樣的提法了。實(shí)際上，我和我貝爾實(shí)驗(yàn)室的同事在上世紀(jì)90年代初制作的支票閱讀系統(tǒng)，就在卷積網(wǎng)絡(luò)的基礎(chǔ)上，使用了一種結(jié)構(gòu)化預(yù)測，我們將其稱之為“Graph Transformer Networks”。近來有很多工作都在研究在卷積網(wǎng)絡(luò)上面加圖模型（graphical models），然后端到端地訓(xùn)練整個(gè)系統(tǒng)。了解更多基于能量的模型和在神經(jīng)網(wǎng)絡(luò)之上的結(jié)構(gòu)化預(yù)測，可以參見這篇論文：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=WLN3QrAAAAAJ&cstart=20&pagesize=80&citation_for_view=WLN3QrAAAAAJ%3A8k81kl-MbHgC 深度學(xué)習(xí)以其目前的形式而言當(dāng)然是有局限的，因?yàn)閹缀跛谐晒?yīng)用都是使用了監(jiān)督學(xué)習(xí)并且依賴于人類標(biāo)注過的數(shù)據(jù)。我們需要找到方法，訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)從沒有經(jīng)過標(biāo)注的“原始”數(shù)據(jù)中，找出現(xiàn)實(shí)世界的規(guī)律。正如我在前面一個(gè)問題中回答的那樣，我相信對(duì)抗訓(xùn)練（adversarial training）將會(huì)帶來突破。
短期看，深度學(xué)習(xí)領(lǐng)域有許多有意思的進(jìn)展，也許數(shù)量太多，我在這沒能全部都描述完。但是，有少數(shù)幾個(gè)ideas引起了我的注意，讓我在研究項(xiàng)目中可以親自踐行。依我看來，最重要的一個(gè)是對(duì)抗式訓(xùn)練（也稱GAN，即生成對(duì)抗式網(wǎng)絡(luò)）。這一概念最初由Ian Goodfellow提出，當(dāng)時(shí)他還在蒙特利爾大學(xué)，是Yoshua Bengio的學(xué)生（隨后他去了谷歌大腦，最近去了Open AI）。 生成對(duì)抗式網(wǎng)絡(luò)，以及現(xiàn)在被提出的一些變體，是深度學(xué)習(xí)領(lǐng)域過去10年我認(rèn)為最有意思的idea。這只是個(gè)人之見。 生成對(duì)抗式網(wǎng)絡(luò)指的是同時(shí)訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)。第一個(gè)叫鑒別器，我們?cè)谶@標(biāo)注為D（Y），它在獲得一個(gè)輸入（比如一張圖片）后，會(huì)輸出一個(gè)純量（scalar），表明圖像Y看起來是“自然的”或者不是。在一次對(duì)抗式的訓(xùn)練例子中，D（Y）可以被看成是一種能量函數(shù)，當(dāng)Y是一個(gè)真實(shí)的樣本（比如，數(shù)據(jù)庫中的一張圖片），這個(gè)函數(shù)會(huì)采用一個(gè)低值（比如，接近0），當(dāng)Y不是一個(gè)真實(shí)樣本（比如，是一張noisy的或者看起來模式的圖片），就會(huì)采用一個(gè)正值。 第二個(gè)網(wǎng)絡(luò)成為生成器，標(biāo)注為G（Z），其中，Z通常是一個(gè)向量，在一個(gè)簡單的分布（比如高斯的）中，被隨機(jī)取樣。生成器的角色是生產(chǎn)圖像，以訓(xùn)練D(Y)函數(shù)，形成正確的模型（低值針對(duì)真實(shí)圖像，高值則是別的所有東西） 在訓(xùn)練的過程中，D被顯示為一個(gè)真實(shí)的圖像，通過調(diào)整其參數(shù)，能讓其輸出值更低。隨后，D被顯示為一個(gè)從G產(chǎn)出的圖像，通過調(diào)整其參數(shù)，來讓其輸出D（G（Z））更大（隨著一些客觀的預(yù)設(shè)函數(shù)的梯度）。但是，G(Z)將會(huì)自己訓(xùn)練，生成圖片，以騙過D，讓D認(rèn)為其是真實(shí)的圖片。通過獲得D隨著Y產(chǎn)生的梯度來實(shí)現(xiàn)。換句話說，它在嘗試將D的輸出最小化，而D自己卻在嘗試最大化。所以這被叫做對(duì)抗式訓(xùn)練。 Ian Goodfellow 最初的構(gòu)想使用了一個(gè)更加復(fù)雜的概率框架，但這就是其主旨。 這為什么會(huì)如此有趣？它讓我們可以訓(xùn)練一個(gè)鑒別器，作為一種非監(jiān)督的“密度估計(jì)”（density estimator），比如，一個(gè)對(duì)比函數(shù)（contrast function）會(huì)提供一個(gè)針對(duì)數(shù)據(jù)的低值，和針對(duì)其他的高值。這個(gè)鑒別器必須要發(fā)展出一個(gè)好的數(shù)據(jù)內(nèi)部表征，來有針對(duì)性地解決問題。隨后，鑒別器還可以被當(dāng)成分類器中的一個(gè)特征提取器。 但是，可能更加有趣的是，在對(duì)真實(shí)數(shù)據(jù)的復(fù)雜層面進(jìn)行參數(shù)化的時(shí)候，生成器是可以觀測的：給它一個(gè)向量Z,它就能在數(shù)據(jù)流形中繪制出其所在點(diǎn)。許多人發(fā)表了論文，用這一概念做了許多讓人很贊嘆的事，比如生成臥室的圖像以及在Z向量空間內(nèi)，對(duì)人臉進(jìn)行計(jì)算：（戴眼鏡的男人）-（不戴眼鏡的男人）+（不帶眼鏡的女人）=（戴眼鏡的女人）。 在這一話題上，F(xiàn)AIR上也有一系列有趣的論文：
最后一篇就是用對(duì)抗式訓(xùn)練進(jìn)行視頻預(yù)測的。研究解決了一個(gè)非常重要的問題，那就是，當(dāng)你訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)（或者其他任何模型）來預(yù)測未來，如果要預(yù)測的東西有多種可能性時(shí)，一個(gè)網(wǎng)絡(luò)以傳統(tǒng)的方式進(jìn)行預(yù)測（比如，用最小平方），將會(huì)預(yù)測出所有可能性的平均值。在視頻的例子中，有很多模糊的混亂。對(duì)抗式訓(xùn)練能讓系統(tǒng)產(chǎn)出其想要的任何東西，只要是在鑒別器喜歡的任何數(shù)據(jù)庫內(nèi)就可以。這解決了在不確定條件下進(jìn)行預(yù)測的“模糊”難題。 這聽起來像一個(gè)非常技術(shù)性的難題，但是我真的認(rèn)為這（對(duì)抗式生成網(wǎng)絡(luò)）打開了另一個(gè)世界的大門。 無監(jiān)督學(xué)習(xí)接下來會(huì)有什么大的突破？ 對(duì)抗式訓(xùn)練是最酷的東西了，前面的回答中，我已經(jīng)列出了大量的相關(guān)論文。在接下來的幾年的時(shí)間內(nèi)，我期待會(huì)有更多令人印象深刻的研究成果出現(xiàn)。 當(dāng)下缺乏的是對(duì)無監(jiān)督學(xué)習(xí)的一個(gè)好的理解，讓我們能確保其運(yùn)行得更加可信。人們無監(jiān)督學(xué)習(xí)有點(diǎn)過于苛求。 無監(jiān)督學(xué)習(xí)現(xiàn)在跟90年代的卷積網(wǎng)絡(luò)很像，當(dāng)時(shí)，我被認(rèn)為是唯一能讓其運(yùn)轉(zhuǎn)的人（然而事實(shí)并非如此）。 深度學(xué)習(xí)在理論或概念上的突破會(huì)有哪些？ 這是研究目前非?；钴S的話題。我很高興地看到高水準(zhǔn)的數(shù)學(xué)家和理論物理學(xué)家越來越對(duì)深度學(xué)習(xí)背后的理論感興趣。 其中一個(gè)讓人不解的理論是，為什么訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)穩(wěn)定工作時(shí)需要完成相應(yīng)的非卷積優(yōu)化。另一個(gè)覺得有趣的理論問題是，為什么層數(shù)越多越好？第三個(gè)有趣的問題是，為什么卷積網(wǎng)絡(luò)的效果會(huì)這么好？此外，周邊分布的隨機(jī)優(yōu)化的問題也很值得研究。 有什么是深度學(xué)習(xí)永遠(yuǎn)學(xué)不會(huì)的嗎？ 顯然，目前的深度學(xué)習(xí)能力相當(dāng)有限。但是，當(dāng)人們弄清楚如何建立和人類水平的人工智能，那么深度學(xué)習(xí)則必定會(huì)是解決方案的一部分。 深度學(xué)習(xí)的意思是
除此之外，還有一個(gè)哲理問題：什么是可學(xué)習(xí)的任務(wù)，什么是不可能學(xué)會(huì)的任務(wù)，這些東西不管你投入多少資源就是無法學(xué)會(huì)。關(guān)于這方面已經(jīng)有相當(dāng)多的工作。一個(gè)有趣的結(jié)果就是“沒有免費(fèi)的午餐定理”，這個(gè)定理認(rèn)為某個(gè)會(huì)學(xué)習(xí)的機(jī)器可以 tractably 學(xué)會(huì)所有可能任務(wù)中的少數(shù)任務(wù)。沒有機(jī)器能夠切實(shí)學(xué)會(huì)所有的任務(wù)。 AI機(jī)器必須有“偏向”才能學(xué)會(huì)某些任務(wù)。這與人類相比或許是顯得很渺小，因?yàn)槲覀兊拇竽X并不是通用的學(xué)習(xí)機(jī)，但這就是事實(shí)。盡管有明顯的普適性，我們?nèi)祟?/span>的大腦是非常善于專攻的。 有些問題本質(zhì)上是無法通過計(jì)算求解的。這就是為什么即使我們修建出具有超人類智慧的機(jī)器，它們?cè)诂F(xiàn)實(shí)世界中超越我們的范疇也十分有限，或許在下國際象棋或圍棋的時(shí)候能超過人，但在預(yù)測拋硬幣是正面還是反面就跟人一樣差了。 近來深度學(xué)習(xí)形成炒作了嗎？ 當(dāng)下圍繞AI和深度學(xué)習(xí)有很多炒作。炒作是不好的，因?yàn)樗鼊?chuàng)造更高的期望，當(dāng)不能滿足這些期望時(shí)就會(huì)導(dǎo)致失望。這也是過去形成“AI冬天”的部分原因。 所以，如果你看到一些令人震驚的炒作，直接說它們是炒作。我只要有機(jī)會(huì)就這么做。 初創(chuàng)公司有動(dòng)機(jī)來炒作，因?yàn)樗麄冃枰顿Y或客戶。這不是說吸引到投資的公司就不是炒作了：一些AI公司已經(jīng)吸引了大量的投資，但無非是些空的炒作。 話說回來，深度學(xué)習(xí)會(huì)產(chǎn)生真正的成果，是一個(gè)真正產(chǎn)生利益的產(chǎn)業(yè)的基礎(chǔ)。在不久的將來，深度學(xué)習(xí)能做到的事情（即使沒有炒作）也是非常令人興奮，比如自動(dòng)駕駛汽車，醫(yī)療成像，個(gè)性化醫(yī)療，內(nèi)容過濾/排名等領(lǐng)域。 Facebook AI研究的重點(diǎn)是什么？ 解決什么是智能，建造真正智能的機(jī)器。 讓會(huì)學(xué)習(xí)的機(jī)器給他們周圍的環(huán)境建模，記憶、推理、規(guī)劃。 我們用視頻游戲訓(xùn)練這些機(jī)器，將它們連接上虛擬3D游戲引擎 tot Torch，還有其他真實(shí)的虛擬的環(huán)境。 我們還從事利用AI進(jìn)行圖像和視頻理解、文本理解、對(duì)話系統(tǒng)、語言翻譯、語音識(shí)別、文本生成和其他深?yuàn)W的領(lǐng)域。 Facebook AI研究目標(biāo)與其他公司和研究機(jī)構(gòu)不同在哪里？ 我們有目標(biāo)，也有執(zhí)行的人和方式。 首先，我要說說目標(biāo)。Facebook 基本上就一個(gè)長期目標(biāo)：理解智能并修建智能的機(jī)構(gòu)。這不僅僅是個(gè)技術(shù)挑戰(zhàn)，還是個(gè)科學(xué)問題：智能是什么？我們?cè)撊绾卧跈C(jī)器中再現(xiàn)智能？與“宇宙是由什么構(gòu)成的”“生命的意義是什么”一樣，“智能是什么”也算是人類歷史上終極科學(xué)問題之一。歸根結(jié)底，了解智能不但有助于我們修建具有智能的機(jī)器，也將使我們了解人類思維和人腦工作原理。 在構(gòu)建擁有真正智能的機(jī)器的過程中，我們也不斷在發(fā)現(xiàn)新的理論、新的原理、新的方法和新的算法，而這些發(fā)現(xiàn)都將在短期內(nèi)或不遠(yuǎn)的未來得到應(yīng)用。沒過多久，這些技術(shù)中有很多都通過Facebook 的產(chǎn)品投入使用。 當(dāng)初扎克伯格招聘我去Facebook，他和我的老板CTO Mike Schroefer 都給了我很大的自由，可以說是讓我按照自己的想法去建設(shè)FAIR。 此前我也在幾家產(chǎn)業(yè)研究所待過（貝爾實(shí)驗(yàn)室、AT&T實(shí)驗(yàn)室、NER研究所，上世紀(jì)80年代我在還施樂Xerox PARC當(dāng)過實(shí)習(xí)生），我也有在微軟研究院、IBM研究院、Google、DeepMind等研究機(jī)構(gòu)的朋友。因此，我自己有過好幾次在產(chǎn)業(yè)研究大環(huán)境下，什么能行什么不能行的經(jīng)歷。我也經(jīng)歷過研究型實(shí)驗(yàn)室成功和沒落的案例。這些經(jīng)歷都有助于我在Facebook 設(shè)計(jì)FAIR的架構(gòu)以及運(yùn)營方式。 首先，只有那些有余力考慮長遠(yuǎn)的公司才能有資金和資源修建先進(jìn)的研究實(shí)驗(yàn)室，并讓這些實(shí)驗(yàn)室常懷遠(yuǎn)大的目標(biāo)。這意味著擁有“真正”研究所的公司規(guī)模都相對(duì)大，并在市場上已經(jīng)占有一定份額（不需要擔(dān)心存亡）。從過去的情況看，這些公司包括 IBM、AT&T、施樂、通用電氣、微軟，還有現(xiàn)在的谷歌和Facebook。 其次，研究必須公開進(jìn)行，研究人員必須按照規(guī)定發(fā)表自己工作。這是至關(guān)重要的：秘密進(jìn)行的研究幾乎總是比公開發(fā)表的研究質(zhì)量差（有點(diǎn)像開源軟件往往比閉源軟件質(zhì)量更好）。發(fā)表并通過同行評(píng)議篩選的研究成果會(huì)更可靠、更穩(wěn)定。此外，研究人員的生活和事業(yè)是與他或她的學(xué)術(shù)影響緊密相關(guān)的。除非你鼓勵(lì)他們發(fā)表自己的工作，你無法吸引最優(yōu)秀的研究員。最后，公開發(fā)表有利于公司的聲譽(yù)。許多工程師和科學(xué)家都希望為那些在科學(xué)和技術(shù)方面引領(lǐng)創(chuàng)新的公司工作。開放研究這一理念使我們能夠輕松地與大學(xué)和公共及非盈利研究實(shí)驗(yàn)室合作。沒有公司能壟斷好的點(diǎn)子。有很多好的想法都來自學(xué)術(shù)界（實(shí)際上大部分都來自學(xué)術(shù)界），除了個(gè)別可能需要Facebook等大公司擁有的基礎(chǔ)設(shè)施和工程支持才能實(shí)現(xiàn)的。 第三，科學(xué)發(fā)現(xiàn)是一個(gè)“自下而上”的過程。我們聘請(qǐng)科研人員，部分原因是他們對(duì)選擇好的項(xiàng)目和研究課題有好的嗅覺。在初始階段，大量的研究工作是探索：你有一個(gè)想法，你就去試吧。你需要有靈活的工具，讓你可以快速把事情實(shí)現(xiàn)并研究它們是如何工作的。如果事情順利就可以立項(xiàng)，每到一個(gè)階段，團(tuán)隊(duì)人數(shù)都會(huì)更多，工程師和研究員的比例也會(huì)越大。在FAIR，我們與AML（應(yīng)用機(jī)器學(xué)習(xí)組）緊密合作，AML相比FAIR是一個(gè)更偏向工程的團(tuán)隊(duì)（但他們也有很多炫酷的ML / AI科研項(xiàng)目、計(jì)算攝影、虛擬/增強(qiáng)現(xiàn)實(shí)）。在FAIR是70％的研究和30％的工程，AML則是70%的工程和30%的研究。我在貝爾實(shí)驗(yàn)室工作時(shí)，那里也有像這樣的兩個(gè)研究組，配合運(yùn)作十分融洽。有關(guān)FAIR和AML的詳細(xì)描述可以參見：Facebook 騰飛的雙翼。 如何評(píng)價(jià)蘋果、微軟、谷歌和Facebook之間的人工智能實(shí)力？ 關(guān)于這一點(diǎn)，我的立場讓我無法做出公平的回答，但有幾點(diǎn)我可以說一下： 蘋果不是人工智能研究圈子里的玩家，因?yàn)樗麄兊墓疚幕茈[秘。你不可能在隱秘的氛圍下做前沿研究。不發(fā)表則算不是研究，頂多也就是技術(shù)進(jìn)步。 微軟一直都在做一些很好的工作，但有很多人才都在從微軟流向Facebook和谷歌。微軟過去做了一些很厲害的語音相關(guān)的深度學(xué)習(xí)研究（2000年左右在手寫識(shí)別方面取得了很好的成果）。但從他們最近的一些項(xiàng)目可以看出，微軟研究院的目標(biāo)相比FAIR或DeepMind要遜色很多。 谷歌（具體是Google Brain等研究組）無論是在深度學(xué)習(xí)產(chǎn)品還是服務(wù)方面都可以算是領(lǐng)先的，因?yàn)楣雀柙谶@方面起步最早。他們?cè)诨A(chǔ)設(shè)施（比如TensorFlow和TPU）上有很多積累。但谷歌AI研究的關(guān)注點(diǎn)是應(yīng)用及產(chǎn)品開發(fā)，而非長期AI研究。證據(jù)就是Google Brain的一些頂尖研究人員離開了那里，去了DeepMind、OpenAI，或者到了FAIR。 DeepMind在基于學(xué)習(xí)的AI（learning-based AI）方面一直都做得很好。他們的長期目標(biāo)跟FAIR的有些類似，研究的課題重合度也挺高：無監(jiān)督/生成模型，規(guī)劃（planning）、RL、游戲、記憶增強(qiáng)網(wǎng)絡(luò)、差分編程（differentiable programming）。DeepMind的一個(gè)問題在于，他們從地理位置和組織結(jié)構(gòu)上都遠(yuǎn)離谷歌（Alphabet）。這樣就不太方便為其所有者盈利，不過他們現(xiàn)在看來做得挺好的。 Facebook的人工智能研究所FAIR成立于2.5年前，在這么短的時(shí)間內(nèi)在業(yè)界樹立起自身領(lǐng)導(dǎo)者的地位。我自己都為FAIR能吸引這么多世界頂尖AI研究員而感到震驚（FAIR有60多個(gè)研究員和工程師，現(xiàn)在分布在紐約、Menlo Park、巴黎和西雅圖）。同樣，我也為我們?cè)谶^去兩年半時(shí)間里取得的成果感到震驚。我們的目標(biāo)遠(yuǎn)大，在FAIR我們從長期著眼，在公司里也有一定的影響力，因此存在不會(huì)受質(zhì)疑（不出成果）。最關(guān)鍵的，我們非常開放：我們所有的研究員一年都會(huì)發(fā)表多篇論文。沒有什么比看見一位前景大好的研究員加入一家不那么開放的公司或者一家初創(chuàng)企業(yè)，然后從研究圈子里消失更令人當(dāng)頭一棒的了。 最近有哪些被人忽視但卻令你興奮的機(jī)器學(xué)習(xí)研究項(xiàng)目？ 在1987年到1995年神經(jīng)網(wǎng)絡(luò)熱潮中提出的一些想法值得再次回顧。 可以去看我跟我在FAIR的一些同事在ICML舉辦的workshop：back to the future 以下是我FAIR同事Armand Joulin的回答： “因果推理（causal inference）領(lǐng)域近來的一些進(jìn)展十分有趣，但受關(guān)注不多。 “因果推理旨在發(fā)現(xiàn)不同變量之間的因果關(guān)聯(lián)。理解系統(tǒng)的因果結(jié)構(gòu)，我們就可以預(yù)測有一些變量改變了以后，系統(tǒng)接下來會(huì)發(fā)生什么。這是自然推理的一種形式，讓你在全新的環(huán)境中也能對(duì)事情接下來的發(fā)展做出預(yù)測。 “這方面的工作并不是最近才提出的（Causality: Models, Reasoning, and Inference by J. Pearl in 2000），下面是一些入門資料
確實(shí)，如果你想讓機(jī)器人（或某種其他形式的智能體）學(xué)會(huì)在現(xiàn)實(shí)世界中根據(jù)情況做出反應(yīng)，那么它就必須要能夠預(yù)測何時(shí)何地做出反饋才能得到理想的結(jié)果。下雨時(shí)，紐約會(huì)有很多雨傘，但把這些雨傘除去并不能讓雨停止。對(duì)于一個(gè)擁有真正智能的agent來說，弄清楚因果關(guān)系是必須具備的能力。 人工智能領(lǐng)域未來5到10年會(huì)有哪些值得期待的發(fā)展？ 在AI中有很多領(lǐng)域，人們正在其中努力工作并獲得進(jìn)展，包括： 結(jié)合推理與計(jì)劃的深度學(xué)習(xí) 基于深度模型的增強(qiáng)學(xué)習(xí)（包括無監(jiān)督預(yù)測學(xué)習(xí)） 通過微分記憶模塊（例如記憶網(wǎng)絡(luò)）增強(qiáng)的循環(huán)神經(jīng)網(wǎng)絡(luò)
通過對(duì)抗性訓(xùn)練建立的生成/預(yù)測模型 “微分編程”：這是將一個(gè)程序（或電路）看成可用backprop訓(xùn)練的微分模塊圖像的思路。這意味著或許能夠除了學(xué)習(xí)識(shí)別模式（如用前饋控制神經(jīng)網(wǎng)絡(luò)），還能生成算法（用循環(huán)、遞歸、子程序等）。DeepMind、FAIR等已經(jīng)對(duì)此發(fā)了一些論文，但目前這一領(lǐng)域仍處于初期。 分層規(guī)劃和分層增強(qiáng)學(xué)習(xí)：這是將一個(gè)復(fù)雜任務(wù)分解成簡單子任務(wù)的問題。這似乎是智能系統(tǒng)的需求。 無監(jiān)督式的學(xué)習(xí)預(yù)測模型（例如視頻預(yù)測） 如果這些方向在未來的幾年中有顯著的進(jìn)展，我們應(yīng)該能夠看到對(duì)話系統(tǒng)、問題回答、自適應(yīng)機(jī)器人控制與規(guī)劃等相當(dāng)多AI智能體的出現(xiàn)。 一個(gè)巨大的挑戰(zhàn)是設(shè)計(jì)出無監(jiān)督/預(yù)測學(xué)習(xí)方法，能夠使超大規(guī)模神經(jīng)網(wǎng)絡(luò)不需要通過明確的人工注釋數(shù)據(jù)，而只通過觀看視頻，閱讀教材等，就能“學(xué)習(xí)世界如何運(yùn)行”。 這樣或許最終會(huì)出現(xiàn)對(duì)世界有充分認(rèn)識(shí)的機(jī)器，而在我們看來他們像是有“常識(shí)”的樣子。 這可能需要5年、10年、20年或更久。我們并不知道。 人工智能有可能威脅到人類的發(fā)展路線是什么？ 坦白說，我并不認(rèn)為人工智能會(huì)威脅到人類。但我并非說這不可能，只是讓事情發(fā)展到那一步實(shí)在是很愚蠢。 有些人認(rèn)為我們必須十分聰明才能避免這種情況發(fā)生，但我并不這么認(rèn)為。 如果我們聰明到能夠制作出超越人類智慧的機(jī)器，就意味著我們不大可能愚蠢到給它們無限的資源讓其能夠毀滅人類。 當(dāng)然，還有這樣一個(gè)悖論，由于我們只接觸過人類智能，機(jī)器智能或許根本就不會(huì)想要稱霸世界或者主宰人類。即使有這種想法，那也只是站在人類的立場上產(chǎn)生的一些想法罷了，而且也只有部分人如此。 即使是在人類中，智慧也與對(duì)權(quán)利的渴望并不相關(guān)。事實(shí)上，目前的事件告訴我們，一些智力有限的人才會(huì)對(duì)權(quán)力有過度的渴求（而且從某種程度上看還顯得很成功）。 作為一個(gè)產(chǎn)業(yè)研究實(shí)驗(yàn)室的管理人員，我的下屬有很多都比我更聰明（我認(rèn)為我工作的主要目標(biāo)就是招聘比我更聰明的人）。 人類對(duì)彼此做的很多不好的事情都與人性相關(guān)。例如當(dāng)我們感覺受威脅、嫉妒，或是想獨(dú)占資源時(shí)所產(chǎn)生的暴力，以及比起陌生人更愿意相信自己的親朋好友，這些都是在演化中為了生存而習(xí)得的能力。具有智慧的機(jī)器不會(huì)具備這些能力，除非我們故意為之，但我們?yōu)槭裁匆@么做呢？ 另外，如果有人故意構(gòu)建一個(gè)危險(xiǎn)的通用智能體，那么其他人也能夠建立一個(gè)不那么通用的智能體，其唯一目的是要摧毀第一個(gè)智能體。如果兩個(gè)智能體的計(jì)算資源相同，那么第二個(gè)就會(huì)獲勝，就像老虎、鯊魚或病毒能殺死智力超越它們的人一樣。 網(wǎng)絡(luò)上有很多關(guān)于ML的資料、教材和課程，包括Coursera上的授課。 我將更多就深度學(xué)習(xí)進(jìn)行回答。你可以通過網(wǎng)上的一些資料和視頻，對(duì)深度學(xué)習(xí)有大概的理解。最重要的有： 我和Yoshua Bengio、Geoff Hinton發(fā)在Nature上的綜述文章，里面有很多引用文獻(xiàn)：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=WLN3QrAAAAAJ&citation_for_view=WLN3QrAAAAAJ%3Alo0OIn9KAZgC Goodfellow、Bengio以及Courville合著的深度學(xué)習(xí)教材：http://www./ 最近我在巴黎法蘭西學(xué)院開的一系列共八次關(guān)于深度學(xué)習(xí)的課程。課是用法語講的，后來被譯成了英語：
Coursera上Geoff Hinton的神經(jīng)網(wǎng)絡(luò)課程（有點(diǎn)過時(shí)了）。 2012IPAM深度學(xué)習(xí)暑期班課程：http://www.ipam./programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule 我2015年在NYU開設(shè)的深度學(xué)習(xí)課程（很不幸，授課視頻已下架，但PPT還在）。2017年春我將再次講授這門課：http://cilvr./doku.php?id=deeplearning2015%3Aschedule 2015年深度學(xué)習(xí)夏季學(xué)校：http:///deeplearning2015_montreal/ 很多材料都普遍集中在使用某種特定的軟件平臺(tái)，諸如Torch、TensorFlow 或Theano。 什么是學(xué)習(xí)深度學(xué)習(xí)最有效的方法？
找一個(gè)工作成就讓你崇拜的人，然后讀完他/她的博士生。
你最喜歡的算法是什么？
Backprop。 如何申請(qǐng)加入 FAIR 等一流ML/AI 研究院？ FAIR共有6種位置：
研究員：你需要一個(gè)博士學(xué)位，有一兩年的經(jīng)驗(yàn)研究（例如，作為博士后）和良好的論文發(fā)表記錄。這算是相當(dāng)高的標(biāo)準(zhǔn)。 研究工程師：碩士學(xué)位，在以往的研究或工作經(jīng)歷中接觸過ML/ AI。通常這些職位是相對(duì)初級(jí)的，但也有少數(shù)高級(jí)研究工程師。FAIR大約25?30％的人是研發(fā)工程師。 博士后：是一個(gè)1或2年的研究職位，一般直接在讀完博士以后申請(qǐng)。 博士研究生：在我們巴黎的實(shí)驗(yàn)室，有一種稱為“CIFRE”的博士生。這是法國才有的事情，允許博士生大部分時(shí)間在產(chǎn)業(yè)研究實(shí)驗(yàn)室工作，由該公司研究員和大學(xué)的教授共同做導(dǎo)師。 實(shí)習(xí)生：我們接受暑期實(shí)習(xí)生，有時(shí)也學(xué)年期間也招收實(shí)習(xí)生。幾乎所有的人都在讀博士課程，在歐洲叫“本科+”（undergrad +）   |
|
|
