电竞比分网-中国电竞赛事及体育赛事平台

分享

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

 東東Wr 2019-12-13

原創(chuàng)/李威威

人工智能的核心就是機器學(xué)習(xí),在20世紀(jì)50年代,科學(xué)家和數(shù)學(xué)家們就已經(jīng)提出了這個觀點。英國科學(xué)家和數(shù)學(xué)家阿蘭·圖靈在1950年提出了這個問題:如果人類可以從已有信息進行推理和邏輯判斷來解決問題,那為什么機器不可以這么做呢?這是"人工智能(Articial Intelligencee,AI)"這個概念第一次被正式提出。

"可以",很多人都是這么想的,其實機器學(xué)習(xí)的原理也不算太復(fù)雜。

機器學(xué)習(xí)(Machine Learning)的手段是讓電腦從大量的真實經(jīng)驗、信息和案例中學(xué)習(xí),然后會像人類一樣吃一塹長一智,在以后遇到同樣的問題時,電腦就有能力用學(xué)習(xí)到的經(jīng)驗做出準(zhǔn)確的判斷。

1997 年 5 月 11 日,計算機在正常時限的比賽中首次擊敗了等級分排名世界第一的國際象棋棋手。加里·卡斯帕羅夫以 2.5:3.5 (1勝2負(fù)3平)輸給 IBM 的計算機程序 "深藍"。

這是人工智能第一次在正式的棋類游戲中將人類冠軍挑落馬下,深藍計算機是采用了一種混合決策的機器學(xué)習(xí)方法,其算力達到了每秒2億次。

人們一度相信,隨著算力的增加,人工智能將會越來越智能,而終將走入人類的生活。

在之后的幾十年,發(fā)達國家的政府都在人工智能上投入了大量的研究經(jīng)費,還有世界頂尖的科學(xué)家耗費了巨大的心血和精力來證明"可以"這個答案。遺憾的是,這么多的投入讓我們的計算機的運算能力提升了千百倍,人工智能技術(shù)盡管有所發(fā)展,但離實際的應(yīng)用還是十分遙遠(yuǎn)。

現(xiàn)實表明運算能力并不是人工智能的唯一限制,機器學(xué)習(xí)的方式和數(shù)據(jù)來源是人工智能發(fā)展的另外兩大障礙。

網(wǎng)速的提升觸發(fā)了互聯(lián)網(wǎng)的爆發(fā),智能手機時代的來臨帶來了移動互聯(lián)網(wǎng)的高速發(fā)展,無處不在的數(shù)據(jù)催生出來了"大數(shù)據(jù)",這給人工智能的發(fā)展提供了充足的原材料。

但是人工智能是在進入21世紀(jì)后才得以真正的繁盛發(fā)展起來的,人工智能領(lǐng)域在過去10年來達到目前的發(fā)展高度,技術(shù)上最大的功臣無疑是深度學(xué)習(xí)(Deep Learning)。深度學(xué)習(xí)利用多層人工神經(jīng)網(wǎng)絡(luò),從極大的數(shù)據(jù)量中學(xué)習(xí),對未來做出預(yù)測,讓機器變得更加聰明。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系

過去10年,深度學(xué)習(xí)是人工智能領(lǐng)域里絕對的王牌主力,其他重要人工智能技術(shù)比如:指紋支付,人臉識別,自動駕駛等的發(fā)展都得益于深度學(xué)習(xí)的技術(shù)支持。

深度學(xué)習(xí)的涵蓋范圍之大,對社會和科技發(fā)展的影響之深,使其無論是現(xiàn)在還是在未來10年都會是人工智能領(lǐng)域里最重要的課題之一。

除了深度學(xué)習(xí)之外,強化學(xué)習(xí)(Reinforcement Learning)也是近幾年來機器學(xué)習(xí)領(lǐng)域的熱門技術(shù)。強化學(xué)習(xí)能使計算機在沒有明確指導(dǎo)的情況下像人一樣自主學(xué)習(xí)。在達到足夠的學(xué)習(xí)量之后,強化學(xué)習(xí)的系統(tǒng)最后能夠預(yù)測正確的結(jié)果,從而做出正確的決定。強化學(xué)習(xí)和深度學(xué)習(xí)的整合,讓機器學(xué)習(xí)有了進一步的運用,衍生出深度強化學(xué)習(xí)(Deep Reinforcement Learning)。

無論是深度學(xué)習(xí)還是強化學(xué)習(xí),在發(fā)展到一定程度之后都受到一個瓶頸的困擾:主要的機器學(xué)習(xí)手段還是來自蠻力計算,而且極其依賴大量的數(shù)據(jù)來訓(xùn)練系統(tǒng)。

Dueling Neural Networks,又稱為Generative Adversarial Networks(對抗性神經(jīng)網(wǎng)絡(luò),GAN),是近年來最有潛力解決這個困擾的重要機器學(xué)習(xí)模型。GAN的原理是兩個人工智能系統(tǒng)可以通過相互對抗來創(chuàng)造超級真實的原創(chuàng)圖像或聲音。GAN賦予了機器創(chuàng)造和想象的能力,也讓機器學(xué)習(xí)減少了對數(shù)據(jù)的依賴性,對于人工智能是一大突破。

總結(jié)一下:

  • 深度學(xué)習(xí)的出現(xiàn)催化了人工智能的再次興起。

  • 強化學(xué)習(xí)賦予了人工智能自主學(xué)習(xí)能力

  • 而對抗性神經(jīng)網(wǎng)絡(luò)給人工智能插上了想象的翅膀


深度學(xué)習(xí):人工智能興起的催化劑

盡管在2013年才被MIT科技評論列為全球十大突破性技術(shù)之一,但事實上,深度學(xué)習(xí)已經(jīng)有幾十年的發(fā)展歷史了。

深度學(xué)習(xí),也是機器學(xué)習(xí)的一種,從2006年開始在Geoffrey Hinton、Yann LeCun(楊立昆)、Yoshua Bengio、Andrew Ng(吳恩達)等教授以及學(xué)術(shù)界、工業(yè)界很多研究人員的推動下重新興起,并在語音(2010年)和圖像(2012年)識別領(lǐng)域取得了重大技術(shù)突破。

傳統(tǒng)機器學(xué)習(xí)系統(tǒng)主要是由一個輸入層和一個輸出層組成的淺層神經(jīng)網(wǎng)。在神經(jīng)網(wǎng)絡(luò)里,程序繪制出一組虛擬神經(jīng)元,然后給它們之間的連接分配隨機數(shù)值或稱"權(quán)重",經(jīng)由反復(fù)的訓(xùn)練來實現(xiàn)誤差最小化。但是早期的神經(jīng)網(wǎng)絡(luò)只能模擬為數(shù)不多的神經(jīng)元,所以不能識別太復(fù)雜的模式。

而深度學(xué)習(xí)事實上包含兩部分:"深度"+ "學(xué)習(xí)",學(xué)習(xí)不用多說指的就是機器學(xué)習(xí),而深度在某種意義上是"深層人工神經(jīng)網(wǎng)絡(luò)"的重命名。

深度學(xué)習(xí)再通俗點說就是指利用深層人工神經(jīng)網(wǎng)絡(luò)進行機器學(xué)習(xí)。

深度學(xué)習(xí)中的"深度"也可以說是一個術(shù)語,指的是一個神經(jīng)網(wǎng)絡(luò)中的層的數(shù)量。顧名思義,深度學(xué)習(xí)網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別在于層數(shù)的深度,也就是數(shù)據(jù)在模式識別的多步流程中所經(jīng)過的節(jié)點層數(shù)。淺層神經(jīng)網(wǎng)絡(luò)有一個所謂的隱藏層,而深度神經(jīng)網(wǎng)絡(luò)則不止一個隱藏層。多個隱藏層讓深度神經(jīng)網(wǎng)絡(luò)能夠以分層的方式學(xué)習(xí)數(shù)據(jù)的特征,因為簡單特征(比如兩個像素)可逐層疊加,形成更為復(fù)雜的特征(比如一條直線)。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

深度學(xué)習(xí)簡單示意圖

在深度學(xué)習(xí)網(wǎng)絡(luò)中,每一個節(jié)點層在前一層輸出的基礎(chǔ)上學(xué)習(xí)識別一組特定的特征。隨著神經(jīng)網(wǎng)絡(luò)深度的增加,神經(jīng)元節(jié)點所能識別的特征也就越來越復(fù)雜,因為每一層會整合并重組前一層的特征。第一層神經(jīng)元學(xué)習(xí)初級特征,例如分辨圖像邊緣或語音中的最小單元,方法是找到那些比隨機分布出現(xiàn)得更多的數(shù)字化像素或聲波的組合。一旦這一層神經(jīng)元準(zhǔn)確地識別了這些特征,數(shù)據(jù)就會被輸送到下一層,并自我訓(xùn)練以識別更復(fù)雜的特征,例如語音的組合或者圖像中的一個角。這一過程會逐層重復(fù),直到系統(tǒng)能夠可靠地識別出音素(根據(jù)語音的自然屬性劃分出來的最小語音單位)或物體為止。

一旦算法框架構(gòu)建起來后,人工神經(jīng)網(wǎng)絡(luò)就需要很多的"訓(xùn)練"來達到誤差最小化。所以這也是深度學(xué)習(xí)的名字的由來,深度(多層的神經(jīng)網(wǎng)絡(luò))和學(xué)習(xí)(大量的數(shù)據(jù)訓(xùn)練)都是必不可少的。機器學(xué)習(xí)有三種主要學(xué)習(xí)方式:監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。每一種學(xué)習(xí)方式都可以用在深度人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中。

強化學(xué)習(xí):人工智能發(fā)展的加速器

如果說深度學(xué)習(xí)目前是人工智能領(lǐng)域最火爆的技術(shù),那么強化學(xué)習(xí)的熱度也當(dāng)仁不讓地緊隨其后。

強化學(xué)習(xí)屬于機器學(xué)習(xí)的一種方式。

它的基本思想是,學(xué)習(xí)在不同環(huán)境和狀態(tài)下哪種行為能把預(yù)期利益最大化。然而,這種方法一直無法推廣到現(xiàn)實世界中的復(fù)雜問題上,其中最主要的原因是,現(xiàn)實中可能遇到的情況錯綜復(fù)雜,無法進行枚舉。不過,近年來隨著設(shè)備計算速度的提升,以及深度學(xué)習(xí)架構(gòu)的興起,強化學(xué)習(xí)得到了真正意義上的成長。深度學(xué)習(xí)在解決復(fù)雜模式識別問題上有了突破性的進步。當(dāng)深度學(xué)習(xí)與強化學(xué)習(xí)結(jié)合后,對現(xiàn)實情況的枚舉就換成了首先對現(xiàn)實情況做模式識別,然后對有限的模式進行枚舉,這就大大減少了計算量和存儲代價。這種學(xué)習(xí)方式也更接近人類思維的模糊判斷的特點,被認(rèn)為是人工智能領(lǐng)域接下來的幾年里最值得關(guān)注的技術(shù)。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

Google的DeepMind通過圍棋人工智能AlphaGo一戰(zhàn)成名,Google也是最早將深度學(xué)習(xí)與強化學(xué)習(xí)進行結(jié)合的公司之一。

DeepMind將深度學(xué)習(xí)、強化學(xué)習(xí)和蒙特卡洛樹搜索等方法相融合,開發(fā)了一個叫作AlphaGo的圍棋程序。2016年,AlphaGo以4:1大勝圍棋頂尖棋手李世石,受到全世界矚目,也讓深度強化學(xué)習(xí)走入人們的視野。

當(dāng)時,主要的深度學(xué)習(xí)方法是監(jiān)督式學(xué)習(xí),也就是必須對訓(xùn)練數(shù)據(jù)進行標(biāo)注。這項工作通常需要人力完成,而深度學(xué)習(xí)所需的數(shù)據(jù)量又十分巨大,所以標(biāo)注數(shù)據(jù)的獲得經(jīng)常成為深度學(xué)習(xí)方法的一大瓶頸。強化學(xué)習(xí)在一定程度上避免了這個問題,因為它的學(xué)習(xí)過程不依賴于標(biāo)注,而是由一個獎勵函數(shù)來主導(dǎo)。這和人類在大多數(shù)情況下的學(xué)習(xí)方式是一致的,因為多數(shù)時候人類的學(xué)習(xí)過程并沒有監(jiān)督和標(biāo)注,而是根據(jù)產(chǎn)生的結(jié)果好壞來調(diào)整,如嬰兒學(xué)習(xí)走路的過程。因此,學(xué)術(shù)界有不少人認(rèn)為,強化學(xué)習(xí)是未來機器學(xué)習(xí)的發(fā)展方向。

但是,在目前的情況下,強化學(xué)習(xí)要達到深度學(xué)習(xí)的廣泛應(yīng)用程度還有很大的距離。強化學(xué)習(xí)是一種優(yōu)勢和劣勢都十分明顯的技術(shù)。與深度學(xué)習(xí)的結(jié)合讓它在計算上優(yōu)勢顯著,但是其劣勢也十分突出,就是所需要的數(shù)據(jù)比其他的機器學(xué)習(xí)方式都要大得多。

強化學(xué)習(xí)對超大數(shù)據(jù)的依賴讓它的應(yīng)用領(lǐng)域有著很大的局限性。比如,在藥物研發(fā)的應(yīng)用中,訓(xùn)練數(shù)據(jù)的獲得往往涉及從大批人群中進行組織采樣,費用高、耗時長,進行一次算法訓(xùn)練的成本太高,而研發(fā)過程中還需要不斷地迭代訓(xùn)練。在未來,如何將強化學(xué)習(xí)高效地應(yīng)用于現(xiàn)實世界,訓(xùn)練數(shù)據(jù)將會是研究者需要解決的重要問題。

強化學(xué)習(xí)方法的工業(yè)應(yīng)用目前還不算多,主要用于那些能夠提供大量數(shù)據(jù)的領(lǐng)域,例如自動生產(chǎn)機器人和自動駕駛汽車、文字,語音和對話系統(tǒng)。

對抗性神經(jīng)網(wǎng)絡(luò):給人工智能插上想象的翅膀

不管是深度學(xué)習(xí)還是強化學(xué)習(xí),目前主要的機器學(xué)習(xí)手段還是依賴大量的歷史數(shù)據(jù)進行分析和系統(tǒng)訓(xùn)練。這離人類的思考方式還是有很大區(qū)別。人類在思考時可以進行泛化,例如,嬰兒知道什么是狗之后,再見到其他的狗就能馬上知道這是狗。但是機器通過深度學(xué)習(xí),可能需要看了100萬張不同的狗的照片后,才能以高準(zhǔn)確度來鑒別哪張圖片是狗。在人工智能的應(yīng)用和普及過程中,就算有互聯(lián)網(wǎng)大數(shù)據(jù),還是有很多領(lǐng)域無法提供如此大的數(shù)據(jù)。機器無法進行泛化,這從另外一個方面也反映了機器學(xué)習(xí)一直只能通過大量數(shù)據(jù)分析模仿人類的邏輯分析能力,而一直難以實現(xiàn)人類大腦的另一強大功能——想象力。

直到2014年,當(dāng)時還是蒙特利爾大學(xué)博士生的Ian Goodfellow在一次聚會上和友人聊天時突然想到了這個問題的答案——"對抗性神經(jīng)網(wǎng)絡(luò)"(GAN)。

他構(gòu)想的模型會使用兩個神經(jīng)網(wǎng)絡(luò)(一種簡化的人腦數(shù)學(xué)模型,是現(xiàn)代機器學(xué)習(xí)的基石),然后讓這兩者在數(shù)字版的"貓狗大戰(zhàn)"游戲中相互拼殺。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

Ian Goodfellow

這兩個網(wǎng)絡(luò)會使用同一個數(shù)據(jù)集進行訓(xùn)練。其中一個神經(jīng)網(wǎng)絡(luò)叫生成網(wǎng)絡(luò),它的任務(wù)就是依照所見過的圖片來生成新的圖片,比如長了兩只兔耳朵的狗。而另外一個神經(jīng)網(wǎng)絡(luò)叫判別網(wǎng)絡(luò),它的任務(wù)則是判斷它所見到的圖片是與訓(xùn)練時的圖片相似,還是由生成網(wǎng)絡(luò)創(chuàng)造出來的"假貨",比如,判斷那只長著兔耳朵的貓有多大可能是真的。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

對抗性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)示意圖

兩個網(wǎng)絡(luò)互相進行對抗,這樣就建立起良好的競爭。每個網(wǎng)絡(luò)都在成千上萬的嘗試中不斷改善自己,而這一切都不需要人力干擾。這樣,最終我們就能得到可以以假亂真的"贗品",以及一個十分善于鑒別"贗品"的網(wǎng)絡(luò)。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

Ian Goodfellow的發(fā)明可用來創(chuàng)造各種圖片,包括室內(nèi)設(shè)計

慢慢地,生成網(wǎng)絡(luò)創(chuàng)造圖片的能力會強到無法被判別網(wǎng)絡(luò)識破的程度?;旧?,經(jīng)過訓(xùn)練之后,生成網(wǎng)絡(luò)學(xué)會了識別并創(chuàng)造看起來十分真實的貓圖片。兩個系統(tǒng)可以通過相互對抗來創(chuàng)造超級真實的原創(chuàng)圖像或聲音,而在此之前,機器從未有這種能力。這給機器帶來一種類似想象力的能力。這項技術(shù)已經(jīng)成為過去十年最具潛力的人工智能突破,幫助機器產(chǎn)生甚至可以欺騙人類的成果。Facebook人工智能研究的主管楊立昆認(rèn)為,對抗性神經(jīng)網(wǎng)絡(luò)是"深度學(xué)習(xí)過去20年來最酷的想法"。

NVIDIA于2017年在明星圖片數(shù)據(jù)庫的基礎(chǔ)上,用對

抗性神經(jīng)網(wǎng)絡(luò)制造出一組十分真實的高像素的假明星圖片。

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

因為只有短短5年的歷史,GAN目前還處在研究舉證階段,還沒有得到廣泛的商業(yè)應(yīng)用。目前GAN研究領(lǐng)域的主力還是Google,其聘請了GAN概念的創(chuàng)造者Ian Goodfellow來帶領(lǐng)其研究團隊。對于未來可能的應(yīng)用,人工智能三大奠基人之一的Yoshua Bengio認(rèn)為,GAN特別適合運用在自動駕駛技術(shù)的研發(fā)上。目前自動駕駛系統(tǒng)的完善還是取決于大量的數(shù)據(jù)訓(xùn)練,系統(tǒng)需要有所有駕駛時會產(chǎn)生的各種意外情況的數(shù)據(jù)才能避免交通意外。而GAN可以通過自動生成能力有效地解決這個數(shù)據(jù)問題。除此之外,業(yè)內(nèi)專家認(rèn)為,GAN在藥物研究上也能有效提高研發(fā)的效率并節(jié)省成本。

賦予機器"創(chuàng)造力"的GAN解決了一直困擾人工智能領(lǐng)域的數(shù)據(jù)來源問題,可以說真正實現(xiàn)了不依賴人類的無監(jiān)督學(xué)習(xí)。關(guān)于真正的爆發(fā)和廣泛的商業(yè)應(yīng)用,相信被譽為"神來之筆"的GAN需要的只是更多的時間。

后記:

人工智能的發(fā)展并不是深度學(xué)習(xí)一家的功勞,前輩們幾十年的探索,大數(shù)據(jù),云計算,以及硬件顯卡芯片的高速發(fā)展共同造就了今天的人工智能時代。

未來已來,人工智能創(chuàng)造美好生活!

參考資料:

麻省理工評論2013全球十大突破性技術(shù)

麻省理工評論2017全球十大突破性技術(shù)

麻省理工評論2018全球十大突破性技術(shù)

深度學(xué)習(xí) [美] 伊恩·古德費洛 Ian Goodfellow / [加] 約書亞·本吉奧 / [加] 亞倫·庫維爾

附麻省理工評論評選的最近十年和人工智能相關(guān)的全球十大突破性技術(shù):

十年三突破,深度學(xué)習(xí)是如何助力人工智能脫離冷板凳的?

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多