|
大數(shù)據(jù)文摘出品 內(nèi)容來源：智源論壇 數(shù)學(xué)最重要的魅力在于幫助我們提出解決問題的思路或途徑。 而機(jī)器學(xué)習(xí)在一定程度上正是數(shù)學(xué)和工程的完美結(jié)合，畢竟用數(shù)學(xué)里面的概率論、隨機(jī)分析等工具研究AI早已不是什么新鮮事情。例如機(jī)器學(xué)習(xí)的四個(gè)基本原則性的問題，即泛化性、穩(wěn)定性、可計(jì)算性和可解釋性就可以用數(shù)學(xué)工程手段來解決。 在5月 9日的北京智源人工智能研究院主辦的“智源論壇——人工智能的數(shù)理基礎(chǔ)”系列報(bào)告中，北京?學(xué)的張志華教授對機(jī)器學(xué)習(xí)和數(shù)學(xué)工程的內(nèi)在關(guān)系進(jìn)行了闡述。在報(bào)告中，他提到：統(tǒng)計(jì)為求解問題提供了數(shù)據(jù)驅(qū)動(dòng)的建模途徑；概率論、隨機(jī)分析、微分方程、微分流形等工具可以引入來研究 AI 的數(shù)學(xué)機(jī)理等等。 除此之外，張志華教授還回顧了機(jī)器學(xué)習(xí)發(fā)展的?個(gè)重要階段，以及重點(diǎn)強(qiáng)調(diào)機(jī)器學(xué)習(xí)和人工智能之間并不能畫等號，畢竟機(jī)器學(xué)習(xí)實(shí)際上是研究算法的學(xué)科，而人工智能志在模擬人的思維和行為。 在回答現(xiàn)成觀眾問題的時(shí)候，其也提到機(jī)器學(xué)習(xí)就是統(tǒng)計(jì)學(xué)的一個(gè)分支，機(jī)器學(xué)習(xí)比統(tǒng)計(jì)學(xué)更接地氣。 以下張志華教授的演講速記，文摘菌做了有刪改的整理，請欣賞~ 機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀的認(rèn)識 機(jī)器學(xué)習(xí)與人工智能有著本質(zhì)上的不同，前者志不在模擬人的思維和行為，主要是想通過經(jīng)驗(yàn)和交互的方式改善性能，是基于規(guī)則的學(xué)習(xí)。機(jī)器學(xué)習(xí)實(shí)際上是研究算法的學(xué)科，算法是基于數(shù)據(jù)型算法，然后反饋到數(shù)據(jù)中去。 可以簡單地把機(jī)器學(xué)習(xí)的過程看作這樣一個(gè)思路，然后可以基于此看看機(jī)器學(xué)習(xí)發(fā)展的歷程： 傳統(tǒng)方法：基于規(guī)則學(xué)習(xí) 第一個(gè)歷程是基于規(guī)則的學(xué)習(xí)，它的目的就是為了規(guī)則，有規(guī)則它就可以做預(yù)測。但是重點(diǎn)不是怎么形成規(guī)則，而是數(shù)據(jù)到表示，即通過認(rèn)知的手段，把人對數(shù)據(jù)的認(rèn)識過程，用計(jì)算機(jī)記錄下來。從而成一種形式化的方式，自然而然就有一種規(guī)則和邏輯的方式去做預(yù)測。它主要代表有兩個(gè)，一個(gè)是專家系統(tǒng)，包括知識庫和推理基，其中重點(diǎn)就是知識庫。另外一個(gè)是句法模式識別，模式的目的也是怎么樣把一個(gè)對象通過一種形式化的方式表示出來。 但這一階段也暴露出一些問題，其一便是基于規(guī)則學(xué)習(xí)的方法雖然對于淺層推理比較有效，但遇上深層推理需求，如果形成規(guī)則過多，在其中搜索就容易出現(xiàn)前面的分享提到過的維數(shù)災(zāi)難問題。 為了解決問題，一個(gè)用一個(gè)強(qiáng)大的非線性學(xué)習(xí)模型來弱化數(shù)據(jù)到表示過程的作用，基于這樣的理論，機(jī)器學(xué)習(xí)發(fā)展至第二個(gè)階段。 統(tǒng)計(jì)機(jī)器學(xué)習(xí)黃金發(fā)展的十年 第二階段是90年代中期到2005年左右十年的時(shí)間。在這一階段為了解決維數(shù)災(zāi)難，出現(xiàn)了一個(gè)數(shù)論：即基于規(guī)則的方式，環(huán)成一個(gè)非線性的一種模型，或者用計(jì)算的手段運(yùn)作模型，然后反過來可以弱化數(shù)據(jù)到表示的過程。 這一階段的神經(jīng)網(wǎng)絡(luò)（80 年代就已經(jīng)出現(xiàn)神經(jīng)網(wǎng)絡(luò)模型）則相對趨于比較低落的時(shí)期，表現(xiàn)平平，發(fā)展遇冷。主要原因在于時(shí)期的機(jī)器學(xué)習(xí)方法比神經(jīng)網(wǎng)絡(luò)要更為簡單，性能也要更好，屬性性質(zhì)相對完美，自然而然地就取代了神經(jīng)網(wǎng)絡(luò)。 但隨著統(tǒng)計(jì)方法發(fā)展到一定階段，大家發(fā)現(xiàn)“數(shù)據(jù)到表示”這件事情還是繞不過去。而應(yīng)對這一問題地一個(gè)簡單的思路就是通過學(xué)習(xí)的途徑來求解表示問題，從而弱化研究者對于領(lǐng)域背景高度掌握的要求，也就是通過一個(gè)自動(dòng)化的方式來解決這一問題。 基于深度表示的學(xué)習(xí) 大模型+大數(shù)據(jù)+大計(jì)算使得這種思路變得可行，機(jī)器學(xué)習(xí)也進(jìn)入了第三階段。AlexNet 網(wǎng)絡(luò)的提出在后來為問題帶來了突破性進(jìn)展，很多做計(jì)算機(jī)視覺的人在網(wǎng)絡(luò)方面不停跟進(jìn)，這些發(fā)展主要是基于視覺的。 那么在機(jī)器翻譯、自然語言處理，自然而然也想到深度學(xué)習(xí)既然可以解決視覺問題，當(dāng)然就可以把深度學(xué)習(xí)拿到機(jī)器學(xué)習(xí)來，所以現(xiàn)在在機(jī)器學(xué)習(xí)里面它的主要的模型也是基于深度。雖然模型可能不是卷積神經(jīng)網(wǎng)絡(luò)，但是核心確是LSTM這種東西。但是不管怎么樣，相對于機(jī)器學(xué)習(xí)，自然語言處理深度學(xué)習(xí)，在自然語言處理它的效果或者它的作用遠(yuǎn)遠(yuǎn)沒有那么好。 在上述時(shí)期，用深度學(xué)習(xí)它的目的還不是為了表示，主要是為了什么？還是為了非線性的擬合，在自然語言處理，個(gè)人理解目前為止還沒有找到一種非常有效的，像卷積神經(jīng)網(wǎng)絡(luò)有效表示圖像的網(wǎng)絡(luò)，所以導(dǎo)致自然語言處理沒有像圖像那么強(qiáng)大。 那這整個(gè)過程，知道都是在一個(gè)有監(jiān)督的方式里面去做的，本質(zhì)上就是把數(shù)據(jù)到表示用一個(gè)模型和計(jì)算的方式做。而表示到預(yù)測、決策也是通過模型計(jì)算的，整個(gè)可以看到從數(shù)據(jù)到預(yù)測是端到端的優(yōu)化學(xué)習(xí)過程。 深度學(xué)習(xí)目前現(xiàn)狀：無監(jiān)督問題突出 深度學(xué)習(xí)發(fā)展到現(xiàn)在，主要講是有監(jiān)督的學(xué)習(xí)，但是現(xiàn)在很多問題是無監(jiān)督的，就是無監(jiān)督的問題遠(yuǎn)遠(yuǎn)比有監(jiān)督的問題要多，而且要復(fù)雜。那么一個(gè)簡單的思想就是要把無監(jiān)督的問題要形成與有監(jiān)督類似的學(xué)習(xí)的過程，有一個(gè)優(yōu)化的過程，用機(jī)器學(xué)習(xí)的方法解決事情，在統(tǒng)計(jì)里面，現(xiàn)在假設(shè)X要生成它，那么如果X是連續(xù)的，可以假設(shè)X是高斯，但是如果X來自高斯假設(shè)很強(qiáng)，但是可以說X是來自什么？是一個(gè)高斯混合體，如果X是一個(gè)連續(xù)的向量，那它總是可以用一個(gè)高斯混合體去逼近它，是沒有任何問題的。 但是時(shí)候發(fā)現(xiàn)X是一個(gè)抽象的數(shù)學(xué)意識，并沒有具體的物理意義，那么自然神經(jīng)網(wǎng)絡(luò)這些技術(shù)能不能對一個(gè)圖像進(jìn)行生成了，對語言進(jìn)行生成，而不是對數(shù)學(xué)意義上的X去生成?，F(xiàn)在發(fā)展比如有一個(gè)生成對抗網(wǎng)絡(luò)，它就是解決這樣的問題，它的目的不是為了生成一個(gè)抽象數(shù)學(xué)意義上的X，是生成一個(gè)真正的圖像或者語言，那么它的框架實(shí)際上就是怎么樣形成一個(gè)優(yōu)化問題。 強(qiáng)化學(xué)習(xí)目前的復(fù)興是因?yàn)樯疃葘W(xué)習(xí) 另一個(gè)發(fā)展方向是強(qiáng)化學(xué)習(xí)，強(qiáng)化學(xué)習(xí)是什么呢？它利用規(guī)則與環(huán)境交互或者獎(jiǎng)賞，然后形成一個(gè)學(xué)習(xí)優(yōu)化問題，形成一個(gè)優(yōu)化問題。 對于強(qiáng)化學(xué)習(xí)，不是最近才發(fā)明出來的。其主要的數(shù)學(xué)手段是馬爾可夫決策過程，它通過馬爾可夫決策過程去描述問題，描述問題之后要去解問題，發(fā)現(xiàn)問題最優(yōu)解，最后把它定成貝爾曼方程，那么解貝爾曼方程的話發(fā)現(xiàn)是可以用不動(dòng)點(diǎn)定理來描述貝爾曼方程。那么有了不動(dòng)點(diǎn)定理支撐，現(xiàn)在主要是有兩個(gè)思路，第一個(gè)思路是基于Value，也就是用Value迭代找到最優(yōu)值。另外一種就是Polic迭代，因?yàn)楸举|(zhì)上不是找Value，是找Polic，所以就直接在Polic方面去做迭代。 現(xiàn)在很多實(shí)際問題實(shí)際上對環(huán)境是不會已知的，也就是說對卷積概率是不會知道的。這時(shí)候發(fā)展就是一個(gè)所謂的Q-Learning，實(shí)際上Q-Learning定義了一個(gè)新的函數(shù)叫Q函數(shù)。那么在Q-Learning基礎(chǔ)上，就發(fā)展出來深度的Q網(wǎng)絡(luò)，目前現(xiàn)在主要做的比如像Polic的梯度方法，這是強(qiáng)化學(xué)習(xí)或者深度強(qiáng)化學(xué)習(xí)目前發(fā)展的一個(gè)主要結(jié)點(diǎn)。
機(jī)器學(xué)習(xí)的技術(shù)路線 機(jī)器學(xué)習(xí)有三個(gè)問題。一個(gè)是有監(jiān)督、無監(jiān)督和強(qiáng)化學(xué)習(xí)。原來認(rèn)為機(jī)器學(xué)習(xí)是統(tǒng)計(jì)的分支，現(xiàn)在認(rèn)為機(jī)器學(xué)習(xí)就是現(xiàn)代統(tǒng)計(jì)學(xué)。機(jī)器學(xué)習(xí)和統(tǒng)計(jì)還有微妙的關(guān)系，機(jī)器學(xué)習(xí)是分類問題，而統(tǒng)計(jì)是回歸問題，分類和回歸也沒有太本質(zhì)的區(qū)別。 第二，機(jī)器學(xué)習(xí)往往會形成優(yōu)化問題。剛才說要形成優(yōu)化過程，它跟優(yōu)化是什么區(qū)別？一個(gè)優(yōu)化的學(xué)者，或者優(yōu)化領(lǐng)域里面它純粹就關(guān)注找到最優(yōu)值。但是對于機(jī)器學(xué)習(xí)的學(xué)者來說，最緊急的是要找到預(yù)測數(shù)據(jù)。 現(xiàn)在看來，現(xiàn)代的機(jī)器學(xué)習(xí)它主要成功就在于表示，就是深度學(xué)習(xí)是一個(gè)表示，它不是單純的是一個(gè)非線性模型，主要是一個(gè)非線性的表示。當(dāng)然想到機(jī)器學(xué)習(xí)它的目的是預(yù)測，而預(yù)測是通過計(jì)算得出。 但是深度學(xué)習(xí)也遇到很多挑戰(zhàn)，第一個(gè)是需要大數(shù)據(jù)的要求，大家網(wǎng)絡(luò)是非常多，所以往往導(dǎo)致過參數(shù)的問題。另外就是在做表述是基于多層的表述，所以問題是高度的非凸化。 另外，現(xiàn)在機(jī)器學(xué)習(xí)要關(guān)注的重點(diǎn)問題有四個(gè)方面。第一個(gè)是可預(yù)測性、第二個(gè)可計(jì)算性、第三個(gè)是穩(wěn)定性、第四個(gè)就是可解釋性?？赡墁F(xiàn)在認(rèn)為主要重點(diǎn)就是在穩(wěn)定性和泛化性方面，因?yàn)橛X得神經(jīng)網(wǎng)絡(luò)沒有可解釋性。 最后，張志華教授就機(jī)器學(xué)習(xí)和數(shù)學(xué)工程之間的關(guān)系給出了這樣的闡述：
|
|
|
