|
人工智能很可能導致人類的永生或者滅絕，而這一切很可能在我們的有生之年發(fā)生。 上面這句話不是危言聳聽，請耐心的看完本文再發(fā)表意見。這篇翻譯稿翻譯完一共三萬五千字，我從上星期開始翻，熬了好幾個夜才翻完，因為我覺得這篇東西非常有價值。希望你們能夠耐心讀完，讀完后也許你的世界觀都會被改變。 ====================== 內(nèi)容翻譯自http://waitbutwhy.com 我們正站在變革的邊緣，而這次變革將和人類的出現(xiàn)一般意義重大 – Vernor Vinge 如果你站在這里，你會是什么感覺？  看上去非常刺激吧？但是你要記住，當你真的站在時間的圖表中的時候，你是看不到曲線的右邊的，因為你是看不到未來的。所以你真實的感覺大概是這樣的：  稀松平常。 ------------------------------- 遙遠的未來——就在眼前 想象一下坐時間機器回到1750年的地球，那個時代沒有電，暢通通訊基本靠吼，交通主要靠動物拉著跑。你在那個時代邀請了一個叫老王的人到2015年來玩，順便看看他對“未來”有什么感受。我們可能沒有辦法了解1750年的老王內(nèi)心的感受——金屬鐵殼在寬敞的公路上飛馳，和太平洋另一頭的人聊天，看幾千公里外正在發(fā)生進行的體育比賽，觀看一場發(fā)生于半個世紀前的演唱會，從口袋里掏出一個黑色長方形工具把眼前發(fā)生的事情記錄下來，生成一個地圖然后地圖上有個藍點告訴你現(xiàn)在的位置，一邊看著地球另一邊的人的臉一邊聊天，以及其它各種各樣的黑科技。別忘了，你還沒跟他解釋互聯(lián)網(wǎng)、國際空間站、大型強子對撞機、核武器以及相對論。 這時候的老王會是什么體驗？驚訝、震驚、腦洞大開這些詞都太溫順了，我覺得老王很可能直接被嚇尿了。 但是，如果老王回到了1750年，然后覺得被嚇尿是個很囧的體驗，于是他也想把別人嚇尿來滿足一下自己，那會發(fā)生什么？于是老王也回到了250年前的1500年，邀請生活在1500年的小李去1750年玩一下。小李可能會被250年后的很多東西震驚，但是至少他不會被嚇尿。同樣是250來年的時間，1750和2015年的差別，比1500年和1750年的差別，要大得多了。1500年的小李可能能學到很多神奇的物理知識，可能會驚訝于歐洲的帝國主義旅程，甚至對于世界地圖的認知也會大大的改變，但是1500年的小李，看到1750年的交通、通訊等等，并不會被嚇尿。 所以說，對于1750年的老王來說，要把人嚇尿，他需要回到更古老的過去——比如回到公元前12000年，第一次農(nóng)業(yè)革命之前。那個時候還沒有城市，也還沒有文明。一個來自狩獵采集時代的人類，只是當時眾多物種中的一個罷了，來自那個時代的小趙看到1750年龐大的人類帝國，可以航行于海洋上的巨艦，居住在“室內(nèi)”，無數(shù)的收藏品，神奇的知識和發(fā)現(xiàn)——他很有可能被嚇尿。 小趙被嚇尿后如果也想做同樣的事情呢？如果他會到公元前24000年，找到那個時代的小錢，然后給他展示公元前12000年的生活會怎樣呢。小錢大概會覺得小趙是吃飽了沒事干——“這不跟我的生活差不多么，呵呵”。小趙如果要把人嚇尿，可能要回到十萬年前或者更久，然后用人類對火和語言的掌控來把對方嚇尿。 所以，一個人去到未來，并且被嚇尿，他們需要滿足一個“嚇尿單位”。滿足嚇尿單位所需的年代間隔是不一樣的。在狩獵采集時代滿足一個嚇尿單位需要超過十萬年，而工業(yè)革命后一個嚇尿單位只要兩百多年就能滿足。 未來學家Ray Kurzweil把這種人類的加速發(fā)展稱作加速回報定律（Law of Accelerating Returns）。之所以會發(fā)生這種規(guī)律，是因為一個更加發(fā)達的社會，能夠繼續(xù)發(fā)展的能力也更強，發(fā)展的速度也更快——這本就是更加發(fā)達的一個標準。19世紀的人們比15世紀的人們懂得多得多，所以19世紀的人發(fā)展起來的速度自然比15世紀的人更快。 即使放到更小的時間規(guī)模上，這個定律依然有效。著名電影《回到未來》中，生活在1985年的主角回到了1955年。當主角回到1955年的時候，他被電視剛出現(xiàn)時的新穎、便宜的物價、沒人喜歡電吉他、俚語的不同而震驚。 但是如果這部電影發(fā)生在2015年，回到30年前的主角的震驚要比這大得多。一個2000年左右出生的人，回到一個沒有個人電腦、互聯(lián)網(wǎng)、手機的1985年，會比從1985年回到1955年的主角看到更大的區(qū)別。 這同樣是因為加速回報定律。1985年-2015年的平均發(fā)展速度，要比1955年-1985年的平均發(fā)展速度要快，因為1985年的世界比1955年的更發(fā)達，起點更高，所以過去30年的變化要大過之前30年的變化。 進步越來越大，發(fā)生的越來越快，也就是說我們的未來會很有趣對吧？ 未來學家Kurzweil認為整個20世紀100年的進步，按照2000年的速度只要20年就能達成——2000年的發(fā)展速度是20世紀平均發(fā)展速度的5倍。他認為2000年開始只要花14年就能達成整個20世紀一百年的進步，而之后2014年開始只要花7年（2021年），就能達到又一個20世紀一百年的進步。幾十年之后，我們每年都能達成好幾次相當于整個20世紀的發(fā)展，再往后，說不定每個月都能達成一次。按照加速回報定，Kurzweil認為人類在21世紀的進步將是20世紀的1000倍。 如果Kurzweil等人的想法是正確的，那2030年的世界可能就能把我們嚇尿了——下一個嚇尿單位可能只需要十幾年，而2050年的世界會變得面目全非。  你可能覺得2050年的世界會變得面目全非這句話很可笑，但是這不是科幻，而是比你我聰明很多的科學家們相信的，而且從歷史來看，也是邏輯上可以預測的。 那么為什么你會覺得“2050年的世界會變得面目全非” 這句話很可笑呢？有三個原因讓你質(zhì)疑對于未來的預測： 1. 我們對于歷史的思考是線性的。當我們考慮未來35年的變化時，我們參照的是過去35年發(fā)生的事情。當我們考慮21世紀能產(chǎn)生的變化的時候，我們參考的是20世紀發(fā)生的變化。這就好像1750年的老王覺得1500年的小李在1750年能被嚇尿一樣。線性思考是本能的，但是但是考慮未來的時候我們應該指數(shù)地思考。一個聰明人不會把過去35年的發(fā)展作為未來35年的參考，而是會看到當下的發(fā)展速度，這樣預測的會更準確一點。當然這樣還是不夠準確，想要更準確，你要想象發(fā)展的速度會越來越快。  2. 近期的歷史很可能對人產(chǎn)生誤導。首先，即使是坡度很高的指數(shù)曲線，只要你截取的部分夠短，看起來也是很線性的，就好像你截取圓周的很小一塊，看上去就是和直線差不多。其次，指數(shù)增長不是平滑統(tǒng)一的，發(fā)展常常遵循S曲線。 
接下來的內(nèi)容，你可能一邊讀一邊心里“呵呵”，而且這些內(nèi)容可能真的是錯的。但是如果我們是真的從歷史規(guī)律來進行邏輯思考的，我們的結論就應該是未來的幾十年將發(fā)生比我們預期的多得多得多得多的變化。同樣的邏輯也表明，如果人類這個地球上最發(fā)達的物種能夠越走越快，總有一天，他們會邁出徹底改變“人類是什么”這一觀點的一大步，就好像自然進化不不斷朝著智能邁步，并且最終邁出一大步產(chǎn)生了人類，從而完全改變了其它所有生物的命運。如果你留心一下近來的科技進步的話，你會發(fā)現(xiàn)，到處都暗示著我們對于生命的認知將要被接下來的發(fā)展而徹底改變。 _______________ 通往超級智能之路 人工智能是什么？ 如果你一直以來把人工智能（AI）當做科幻小說，但是近來卻不但聽到很多正經(jīng)人嚴肅的討論這個問題，你可能也會困惑。這種困惑是有原因的：
所以，讓我們從頭開始。 首先，不要一提到人工智能就想著機器人。機器人只是人工智能的容器，機器人有時候是人形，有時候不是，但是人工智能自身只是機器人體內(nèi)的電腦。人工智能是大腦的話，機器人就是身體——而且這個身體不一定是必需的。比如說Siri背后的軟件和數(shù)據(jù)是人工智能，Siri說話的聲音是這個人工智能的人格化體現(xiàn)，但是Siri本身并沒有機器人這個組成部分。 其次，你可能聽過“奇點”或者“技術奇點”這種說法。這種說法在數(shù)學上用來描述類似漸進的情況，這種情況下通常的規(guī)律就不適用了。這種說法同樣被用在物理上來描述無限小的高密度黑洞，同樣是通常的規(guī)律不適用的情況。Kurzweil則把奇點定義為加速回報定律達到了極限，技術進步以近乎無限的速度發(fā)展，而奇點之后我們將在一個完全不同的世界生活的。但是當下的很多思考人工智能的人已經(jīng)不再用奇點這個說法了，而且這種說法很容易把人弄混，所以本文也盡量少用。 最后，人工智能的概念很寬，所以人工智能也分很多種，我們按照人工智能的實力將其分成三大類。
現(xiàn)在，人類已經(jīng)掌握了弱人工智能。其實弱人工智能無處不在，人工智能革命是從弱人工智能，通過強人工智能，最終到達超人工智能的旅途。這段旅途中人類可能會生還下來，可能不會，但是無論如何，世界將變得完全不一樣。 讓我們來看看這個領域的思想家對于這個旅途是怎么看的，以及為什么人工智能革命可能比你想的要近得多。 我們現(xiàn)在的位置——充滿了弱人工智能的世界 弱人工智能是在特定領域等同或者超過人類智能/效率的機器智能，一些常見的例子：
現(xiàn)在的弱人工智能系統(tǒng)并不嚇人。最糟糕的情況，無非是代碼沒寫好，程序出故障，造成了單獨的災難，比如造成停電、核電站故障、金融市場崩盤等等。 雖然現(xiàn)在的弱人工智能沒有威脅我們生存的能力，我們還是要懷著警惕的觀點看待正在變得更加龐大和復雜的弱人工智能的生態(tài)。每一個弱人工智能的創(chuàng)新，都在給通往強人工智能和超人工智能的旅途添磚加瓦。用Aaron Saenz的觀點，現(xiàn)在的弱人工智能，就是地球早期軟泥中的氨基酸——沒有動靜的物質(zhì)，突然之間就組成了生命。 弱人工智能到強人工智能之路 為什么這條路很難走 只有明白創(chuàng)造一個人類智能水平的電腦是多么不容易，才能讓你真的理解人類的智能是多么不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細節(jié)——這些都比理解人類的大腦，并且創(chuàng)造個類似的東西要簡單太多了。至今為止，人類的大腦是我們所知宇宙中最復雜的東西。 而且創(chuàng)造強人工智能的難處，并不是你本能認為的那些。
用計算機科學家Donald Knuth的說法，“人工智能已經(jīng)在幾乎所有需要思考的領域超過了人類，但是在那些人類和其它動物不需要思考就能完成的事情上，還差得很遠?！?/span> 讀者應該能很快意識到，那些對我們來說很簡單的事情，其實是很復雜的，它們看上去很簡單，因為它們已經(jīng)在動物進化的過程中經(jīng)歷了幾億年的優(yōu)化了。當你舉手拿一件東西的時候，你肩膀、手肘、手腕里的肌肉、肌腱和骨頭，瞬間就進行了一組復雜的物理運作，這一切還配合著你的眼睛的運作，使得你的手能都在三維空間中進行直線運作。對你來說這一切輕而易舉，因為在你腦中負責處理這些的“軟件”已經(jīng)很完美了。同樣的，軟件很難識別網(wǎng)站的驗證碼，不是因為軟件太蠢，恰恰相反，是因為能夠讀懂驗證碼是件碉堡了的事情。 同樣的，大數(shù)相乘、下棋等等，對于生物來說是很新的技能，我們還沒有幾億年的世界來進化這些能力，所以電腦很輕易的就擊敗了我們。試想一下，如果讓你寫一個程序，是一個能做大數(shù)相乘的程序容易寫，還是能夠識別千千萬萬種字體和筆跡下書寫的英文字母的程序難寫？ 比如看著下面這個圖的時候，你和電腦都能識別出這是一個由兩種顏色的小長方形組成的一個大長方形。  你和電腦打了個平手。接著我們把途中的黑色部分去除：  你可以輕易的描述圖形中透明或不透明的圓柱和3D圖形，但是電腦就看不出來了。電腦會描述出2D的陰影細節(jié)，但是人腦卻能夠把這些陰影所展現(xiàn)的深度、陰影混合、房屋燈光解讀出來。 再看下面這張圖，電腦看到的是黑白灰，我們看到的卻是一塊全黑的石頭  而且，我們到現(xiàn)在談的還是靜態(tài)不變的信息。要想達到人類級別的智能，電腦必須要理解更高深的東西，比如微小的臉部表情變化，開心、放松、滿足、滿意、高興這些類似情緒間的區(qū)別，以及為什么《布達佩斯大飯店》是好電影，而《富春山居圖》是爛電影。 想想就很難吧？ 我們要怎樣才能達到這樣的水平呢？ 通往強人工智能的第一步：增加電腦處理速度 要達到強人工智能，肯定要滿足的就是電腦硬件的運算能力。如果一個人工智能要像人腦一般聰明，它至少要能達到人腦的運算能力。 用來描述運算能力的單位叫作cps（calculations per second，每秒計算次數(shù)），要計算人腦的cps只要了解人腦中所有結構的最高cps，然后加起來就行了。 Kurzweil把對于一個結構的最大cps的專業(yè)估算，然后考慮這個結構占整個大腦的重量，做乘法，來得出人腦的cps。聽起來不太靠譜，但是Kurzweil用了對于不同大腦區(qū)域的專業(yè)估算值，得出的最終結果都非常類似，是10^16 cps，也就是1億億次計算每秒。 現(xiàn)在最快的超級計算機，中國的天河二號，其實已經(jīng)超過這個運算力了，天河每秒能進行3.4億億。當然，天河二號占地720平方米，耗電2400萬瓦，耗費了3.9億美元建造。廣泛應用就不提了，即使是大部分商業(yè)或者工業(yè)運用也是很貴的。 Kurzweil認為考慮電腦的發(fā)展程度的標桿是看1000美元能買到多少cps，當1000美元能買到人腦級別的1億億運算能力的時候，強人工智能可能就是生活的一部分了。 摩爾定律認為全世界的電腦運算能力每兩年就翻一倍，這一定律有歷史數(shù)據(jù)所支持，這同樣表明電腦硬件的發(fā)展和人類發(fā)展一樣是指數(shù)級別的。我們用這個定律來衡量1000美元什么時候能買到1億億cps?，F(xiàn)在1000美元能買到10萬億cps，和摩爾定律的歷史預測相符合。  也就是說現(xiàn)在1000美元能買到的電腦已經(jīng)強過了老鼠，并且達到了人腦千分之一的水平。聽起來還是弱爆了，但是，讓我們考慮一下，1985年的時候，同樣的錢只能買到人腦萬億分之一的cps，1995年變成了十億分之一，2005年是百萬分之一，而2015年已經(jīng)是千分之一了。按照這個速度，我們到2025年就能花1000美元買到可以和人腦運算速度抗衡的電腦了。 至少在硬件上，我們已經(jīng)能夠強人工智能了（中國的天河二號），而且十年以內(nèi)，我們就能以低廉的價格買到能夠支持強人工智能的電腦硬件。 但是運算能力并不能讓電腦變得智能，下一個問題是，我們怎樣利用這份運算能力來達成人類水平的智能。 通往強人工智能的第二步：讓電腦變得智能 這一步比較難搞。事實上，沒人知道該怎么搞——我們還停留在爭論怎么讓電腦分辨《富春山居圖》是部爛片的階段。但是，現(xiàn)在有一些策略，有可能會有效。下面是最常見的三種策略： 1) 抄襲人腦 就好像你班上有一個學霸。你不知道為什么學霸那么聰明，為什么考試每次都滿分。雖然你也很努力的學習，但是你就是考的沒有學霸好。最后你決定“老子不干了，我直接抄他的考試答案好了。”這種“抄襲”是有道理的，我們想要建造一個超級復雜的電腦，但是我們有人腦這個范本可以參考呀。 科學界正在努力逆向工程人腦，來理解生物進化是怎么造出這么個神奇的東西的，樂觀的估計是我們在2030年之前能夠完成這個任務。一旦這個成就達成，我們就能知道為什么人腦能夠如此高效、快速的運行，并且能從中獲得靈感來進行創(chuàng)新。一個電腦架構模擬人腦的例子就是人工神經(jīng)網(wǎng)絡。它是一個由晶體管作為“神經(jīng)”組成的網(wǎng)絡，晶體管和其它晶體管互相連接，有自己的輸入、輸出系統(tǒng)，而且什么都不知道——就像一個嬰兒的大腦。接著它會通過做任務來自我學習，比如識別筆跡。最開始它的神經(jīng)處理和猜測會是隨機的，但是當它得到正確的回饋后，相關晶體管之間的連接就會被加強；如果它得到錯誤的回饋，連接就會變?nèi)?。?jīng)過一段時間的測試和回饋后，這個網(wǎng)絡自身就會組成一個智能的神經(jīng)路徑，而處理這項任務的能力也得到了優(yōu)化。人腦的學習是類似的過程，不過比這復雜一點，隨著我們對大腦研究的深入，我們將會發(fā)現(xiàn)更好的組建神經(jīng)連接的方法。 更加極端的“抄襲”方式是“整腦模擬”。具體來說就是把人腦切成很薄的片，用軟件來準確的組建一個3D模型，然后把這個模型裝在強力的電腦上。如果能做成，這臺電腦就能做所有人腦能做的事情——只要讓它學習和吸收信息就好了。如果做這事情的工程師夠厲害的話，他們模擬出來的人腦甚至會有原本人腦的人格和記憶，電腦模擬出的人腦就會像原本的人腦一樣——這就是非常符合人類標準的強人工智能，然后我們就能把它改造成一個更加厲害的超人工智能了。 我們離整腦模擬還有多遠呢？至今為止，我們剛剛能夠模擬1毫米長的扁蟲的大腦，這個大腦含有302個神經(jīng)元。人類的大腦有1000億個神經(jīng)元，聽起來還差很遠。但是要記住指數(shù)增長的威力——我們已經(jīng)能模擬小蟲子的大腦了，螞蟻的大腦也不遠了，接著就是老鼠的大腦，到那時模擬人類大腦就不是那么不現(xiàn)實的事情了。 2）模仿生物演化 抄學霸的答案當然是一種方法，但是如果學霸的答案太難抄了呢？那我們能不能學一下學霸備考的方法？ 首先我們很確定的知道，建造一個和人腦一樣強大的電腦是可能的——我們的大腦就是證據(jù)。如果大腦太難完全模擬，那么我們可以模擬演化出大腦的過程。事實上，就算我們真的能完全模擬大腦，結果也就好像照抄鳥類翅膀的拍動來造飛機一樣——很多時候最好的設計機器的方式并不是照抄生物設計。 所以我們可不可以用模擬演化的方式來造強人工智能呢？這種方法叫作“基因算法”，它大概是這樣的：建立一個反復運作的表現(xiàn)/評價過程，就好像生物通過生存這種方式來表現(xiàn)，并且以能否生養(yǎng)后代為評價一樣。一組電腦將執(zhí)行各種任務，最成功的將會“繁殖”，把各自的程序融合，產(chǎn)生新的電腦，而不成功的將會被剔除。經(jīng)過多次的反復后。這個自然選擇的過程將產(chǎn)生越來越強大的電腦。而這個方法的難點是建立一個自動化的評價和繁殖過程，使得整個流程能夠自己運行。 這個方法的缺點也是很明顯的，演化需要經(jīng)過幾十億年的時間，而我們卻只想花幾十年時間。 但是比起自然演化來說，我們有很多優(yōu)勢。首先，自然演化是沒有預知能力的，它是隨機的——它產(chǎn)生的沒用的變異比有用的變異多很多，但是人工模擬的演化可以控制過程，使其著重于有益的變化。其次，自然演化是沒有目標的，自然演化出的智能也不是它目標，特定環(huán)境甚至對于更高的智能是不利的（因為高等智能消耗很多能源）。但是我們可以指揮演化的過程超更高智能的方向發(fā)展。再次，要產(chǎn)生智能，自然演化要先產(chǎn)生其它的附件，比如改良細胞產(chǎn)生能量的方法，但是我們完全可以用電力來代替這額外的負擔。所以，人類主導的演化會比自然快很多很多，但是我們依然不清楚這些優(yōu)勢是否能使模擬演化成為可行的策略。 3）讓電腦來解決這些問題 如果抄學霸的答案和模擬學霸備考的方法都走不通，那就干脆讓考題自己解答自己吧。這種想法很無厘頭，確實最有希望的一種。 總的思路是我們建造一個能進行兩項任務的電腦——研究人工智能和修改自己的代碼。這樣它就不只能改進自己的架構了，我們直接把電腦變成了電腦科學家，提高電腦的智能就變成了電腦自己的任務。 以上這些都會很快發(fā)生 硬件的快速發(fā)展和軟件的創(chuàng)新是同時發(fā)生的，強人工智能可能比我們預期的更早降臨，因為： 1）指數(shù)級增長的開端可能像蝸牛漫步，但是后期會跑的非?？?/p> 2）軟件的發(fā)展可能看起來很緩慢，但是一次頓悟，就能永遠改變進步的速度。就好像在人類還信奉地心說的時候，科學家們沒法計算宇宙的運作方式，但是日心說的發(fā)現(xiàn)讓一切變得容易很多。創(chuàng)造一個能自我改進的電腦來說，對我們來說還很遠，但是可能一個無意的變動，就能讓現(xiàn)在的系統(tǒng)變得強大千倍，從而開啟朝人類級別智能的沖刺。 強人工智能到超人工智能之路 總有一天，我們會造出和人類智能相當?shù)膹娙斯ぶ悄茈娔X，然后人類和電腦就會平等快樂的生活在一起。 呵呵，逗你呢。 即使是一個和人類智能完全一樣，運算速度完全一樣的強人工智能，也比人類有很多優(yōu)勢： 硬件上：
軟件上來說：
通過自我改進來達成強人工智能的人工智能，會把“人類水平的智能”當作一個重要的里程碑，但是也就僅此而已了。它不會停留在這個里程碑上的?？紤]到強人工智能之于人腦的種種優(yōu)勢，人工智能只會在“人類水平”這個節(jié)點做短暫的停留，然后就會開始大踏步向超人類級別的智能走去。 這一切發(fā)生的時候我們很可能被嚇尿，因為從我們的角度來看 a)雖然動物的智能有區(qū)別，但是動物智能的共同特點是比人類低很多；b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。  所以，當人工智能開始朝人類級別智能靠近時，我們看到的是它逐漸變得更加智能，就好像一個動物一般。然后，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：“看這個人工智能就跟個腦殘人類一樣聰明，真可愛。” 但問題是，從智能的大局來看，人和人的智能的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智能達到了腦殘級別的智能后，它會很快變得比愛因斯坦更加聰明：  之后呢？ 智能爆炸 從這邊開始，這個話題要變得有點嚇人了。我在這里要提醒大家，以下所說的都是大實話——是一大群受人尊敬的思想家和科學家關于未來的誠實的預測。你在下面讀到什么離譜的東西的時候，要記得這些東西是比你我都聰明很多的人想出來的。 像上面所說的，我們當下用來達成強人工智能的模型大多數(shù)都依靠人工智能的自我改進。但是一旦它達到了強人工智能，即使算上那一小部分不是通過自我改進來達成強人工智能的系統(tǒng)，也會聰明到能夠開始自我改進。 這里我們要引出一個沉重的概念——遞歸的自我改進。這個概念是這樣的：一個運行在特定智能水平的人工智能，比如說腦殘人類水平，有自我改進的機制。當它完成一次自我改進后，它比原來更加聰明了，我們假設它到了愛因斯坦水平。而這個時候它繼續(xù)進行自我改進，然而現(xiàn)在它有了愛因斯坦水平的智能，所以這次改進會比上面一次更加容易，效果也更好。第二次的改進使得他比愛因斯坦還要聰明很多，讓它接下來的改進進步更加明顯。如此反復，這個強人工智能的智能水平越長越快，直到它達到了超人工智能的水平——這就是智能爆炸，也是加速回報定律的終極表現(xiàn)。 現(xiàn)在關于人工智能什么時候能達到人類普遍智能水平還有爭議。對于數(shù)百位科學家的問卷調(diào)查顯示他們認為強人工智能出現(xiàn)的中位年份是2040年——距今只有25年。這聽起來可能沒什么，但是要記住，很多這個領域的思想家認為從強人工智能到超人工智能的轉(zhuǎn)化會快得多。以下的情景很可能會發(fā)生：一個人工智能系統(tǒng)花了幾十年時間到達了人類腦殘智能的水平，而當這個節(jié)點發(fā)生的時候，電腦對于世界的感知大概和一個四歲小孩一般；而在這節(jié)點后一個小時，電腦立馬推導出了統(tǒng)一廣義相對論和量子力學的物理學理論；而在這之后一個半小時，這個強人工智能變成了超人工智能，智能達到了普通人類的17萬倍。 這個級別的超級智能不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經(jīng)濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎么形容12952的智商，人類語言中根本沒這個概念。 但是我們知道的是，人類對于地球的統(tǒng)治教給我們一個道理——智能就是力量。也就是說，一個超人工智能，一旦被創(chuàng)造出來，將是地球有史以來最強大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來幾十年就發(fā)生。 想一下，如果我們的大腦能夠發(fā)明Wifi，那么一個比我們聰明100倍、1000倍、甚至10億倍的大腦說不定能夠隨時隨地操縱這個世界所有原子的位置。那些在我們看來超自然的，只屬于全能的上帝的能力，對于一個超人工智能來說可能就像按一下電燈開關那么簡單。防止人類衰老，治療各種不治之癥，解決世界饑荒，甚至讓人類永生，或者操縱氣候來保護地球未來的什么，這一切都將變得可能。同樣可能的是地球上所有生命的終結。 當一個超人工智能出生的時候，對我們來說就像一個全能的上帝降臨地球一般。 這篇文章的第一部分完了，我建議你休息一下，喝點水，下面我們要開始第二部分。 第二部分開始： 文章的第一部分討論了已經(jīng)在我們?nèi)粘Ｉ钪须S處可見的弱人工智能，然后討論了為什么從弱人工智能到強人工智能是個很大的挑戰(zhàn)，然后我們談到了為什么技術進步的指數(shù)級增長表面強人工智能可能并不那么遙遠。第一部分的結束，我們談到了一旦機器達到了人類級別的智能，我們將見到如下的場景： 這讓我們無所適從，尤其考慮到超人工智能可能會發(fā)生在我們有生之年，我們都不知道該用什么表情來面對。 再我們繼續(xù)深入這個話題之前，讓我們提醒一下自己超級智能意味著什么。 很重要的一點是速度上的超級智能和質(zhì)量上的超級智能的區(qū)別。很多人提到和人類一樣聰明的超級智能的電腦，第一反應是它運算速度會非常非?？臁秃孟褚粋€運算速度是人類百萬倍的機器，能夠用幾分鐘時間思考完人類幾十年才能思考完的東西 這聽起來碉堡了，而且超人工智能確實會比人類思考的快很多，但是真正的差別其實是在智能的質(zhì)量而不是速度上。用人類來做比喻，人類之所以比猩猩智能很多，真正的差別并不是思考的速度，而是人類的大腦有一些獨特而復雜的認知模塊，這些模塊讓我們能夠進行復雜的語言呈現(xiàn)、長期規(guī)劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。 而且人和猩猩的智能差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什么，也可以理解摩天大樓是什么，但是它不會理解摩天大樓是被人類造出來的，對于猩猩來說，摩天大樓那么巨大的東西肯定是天然的，句號。對于猩猩來說，它們不但自己造不出摩天大樓，它們甚至沒法理解摩天大樓這東西能被任何東西造出來。而這一切差別，其實只是智能的質(zhì)量中很小的差別造成的。 而當我們在討論超人工智能時候，智能的范圍是很廣的，和這個范圍比起來，人類和猩猩的智能差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的： 要理解一個具有超級智能的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智能而已，但是它的認知能力之于人類，就好像人類的認知能力之于猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。 而這，只是比我們高了兩層臺階的智能罷了，站在這個樓梯頂層的智能之于人類，就好像人類之于螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。 但是我們討論的超級智能并不是站在這個樓梯頂層，而是站在遠遠高于這個樓梯的地方。當智能爆炸發(fā)生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到后來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當?shù)谝粋€到達人類智能水平的強人工智能出現(xiàn)后，我們將在很短的時間內(nèi)面對一個站在下圖這樣很高很高的樓梯上的智能（甚至比這更高百萬倍）： 前面已經(jīng)說了，試圖去理解比我們高兩層臺階的機器就已經(jīng)是徒勞的，所以讓我們很肯定的說，我們是沒有辦法知道超人工智能會做什么，也沒有辦法知道這些事情的后果。任何假裝知道的人都沒搞明白超級智能是怎么回事。 自然演化花了幾億年時間發(fā)展了生物大腦，按這種說法的話，一旦人類創(chuàng)造出一個超人工智能，我們就是在碾壓自然演化了。當然，可能這也是自然演化的一部分——可能演化真正的模式就是創(chuàng)造出各種各樣的智能，直到有一天有一個智能能夠創(chuàng)造出超級智能，而這個節(jié)點就好像踩上了地雷的絆線一樣，會造成全球范圍的大爆炸，從而改變所有生物的命運。 科學界中大部分人認為踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。 那我們該怎么辦呢？ 可惜，沒有人都告訴你踩到絆線后會發(fā)生什么。但是人工智能思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。 首先，回顧歷史，我們可以看到大部分的生命經(jīng)歷了這樣的歷程：物種出現(xiàn)，存在了一段時間，然后不可避免的跌落下生命的平衡木，跌入滅絕的深淵。 歷史上來說，“所有生物終將滅絕”就像“所有人都會死”一樣靠譜。至今為止，存在過的生物中99.9%都已經(jīng)跌落了生命的平衡木，如果一個生物繼續(xù)在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列為一種吸引態(tài)——所有生物都有墜入的風險，而一旦墜入將沒有回頭。 雖然大部分科學家都承認一個超人工智能有把人類滅絕的能力，也有一些人為如果運用得當，超人工智能可以幫助人類和其它物種，達到另一個吸引態(tài)——永生。Bostrom認為物種的永生和滅絕一樣都是吸引態(tài)，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰(zhàn)勝了死亡和幾率。所以，雖然絕大多數(shù)物種都從平衡木上摔了下去滅絕了，Bostrom認為平衡木外是有兩面的，只是至今為止地球上的生命還沒聰明到發(fā)現(xiàn)怎樣去到永生這另一個吸引態(tài)。 如果Bostrom等思想家的想法是對的，而且根據(jù)我的研究他們確實很可能是對的，那么我們需要接受兩個事實：
有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關系，創(chuàng)造一個新的世界，不管這時人類還是不是存在。 而現(xiàn)在的問題就是：“我們什么時候會踩到絆線？”以及“從平衡木上跌下去后我們會掉入哪個吸引態(tài)？” 沒人知道答案，但是一些聰明人已經(jīng)思考了幾十年，接下來我們看看他們想出來了些什么。 ___________ 先來討論“我們什么時候會踩到絆線？”也就是什么時候會出現(xiàn)第一個超級智能。 不出意外的，科學家和思想家對于這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創(chuàng)始人Bill Joy，發(fā)明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：這些人相信超級智能會發(fā)生在不久的將來，因為指數(shù)級增長的關系，雖然機器學習現(xiàn)在還發(fā)展緩慢，但是在未來幾十年就會變得飛快。 其它的，比如微軟創(chuàng)始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創(chuàng)業(yè)者Mitch Kapor認為Kurzweil等思想家低估了人工智能的難度，并且認為我們離絆線還挺遠的。 Kurzweil一派則認為唯一被低估的其實是指數(shù)級增長的潛力，他們把質(zhì)疑他們理論的人比作那些1985年時候看到發(fā)展速度緩慢的因特網(wǎng)，然后覺得因特網(wǎng)在未來不會有什么大影響的人一樣。 而質(zhì)疑者們則認為智能領域的發(fā)展需要達到的進步同樣是指數(shù)級增長的，這其實把技術發(fā)展的指數(shù)級增長抵消了。 爭論如此反復。 第三個陣營，包括Nick Bostrom在內(nèi)，認為其它兩派都沒有理由對踩絆線的時間那么有信心，他們同時認為 a) 這事情完全可能發(fā)生在不久的未來 b)但是這個事情沒個準，說不定會花更久 還有不屬于三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什么絆線。超人工智能是不會被實現(xiàn)的。 當你把所有人的觀點全部融合起來的話是怎樣呢？ 2013年的時候，Bostrom做了個問卷調(diào)查，涵蓋了數(shù)百位人工智能專家，問卷的內(nèi)容是“你預測人類級別的強人工智能什么時候會實現(xiàn)”，并且讓回答者給出一個樂觀估計（強人工智能有10%的可能在這一年達成），正常估計（有50%的可能達成），和悲觀估計（有90%可能達成）。當把大家的回答統(tǒng)計后，得出了下面的結果：
所以一個中位的人工智能專家認為25年后的2040年我們能達成強人工智能，而2075年這個悲觀估計表明，如果你現(xiàn)在夠年輕，有一半以上的人工智能專家認為在你的有生之年能夠有90%的可能見到強人工智能的實現(xiàn)。 另外一個獨立的調(diào)查，由作家James Barrat在Ben Goertzel的強人工智能年會上進行，他直接問了參與者認為強人工智能哪一年會實現(xiàn)，選項有2030年，2050年，2100年，和永遠不會實現(xiàn)。結果是：
這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認為強人工智能會在2050年實現(xiàn)，有近乎半數(shù)（42%）的人認為未來15年（2030年）就能實現(xiàn)。并且，只有2%的參與者認為強人工智能永遠不會實現(xiàn)。 但是強人工智能并不是絆線，超人工智能才是。那么專家們對超人工智能是怎么想的呢？ Bostrom的問卷還詢問專家們認為達到超人工智能要多久，選項有a)達成強人工智能兩年內(nèi)，b)達成強人工智能30年內(nèi)。問卷結果如下： 中位答案認為強人工智能到超人工智能只花2年時間的可能性只有10%左右，但是30年之內(nèi)達成的可能性高達75% 從以上答案，我們可以估計一個中位的專家認為強人工智能到超人工智能可能要花20年左右。所以，我們可以得出，現(xiàn)在全世界的人工智能專家中，一個中位的估計是我們會在2040年達成強人工智能，并在20年后的2060年達成超人工智能——也就是踩上了絆線。 當然，以上所有的數(shù)據(jù)都是推測，它只代表了現(xiàn)在人工智能領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很了解的人認為2060年是一個實現(xiàn)超人工智能的合理預測——距今只有45年。 那么我們來看一下下一個問題，踩到絆線后，我們將跌向平衡木的哪一個方向？ 超級智能會產(chǎn)生巨大的力量，所以關鍵的問題時——到時這股力量究竟由誰掌握，掌握這份力量的人會怎么做？ 這個問題的答案將決定超人工智能究竟是天堂還是地獄。 同樣的，專家們在這個問題上的觀點也不統(tǒng)一。Bostrom的問卷顯示專家們看待強人工智能對于人類社會的影響時，52%認為結果會是好或者非常好的，31%認為會是糟糕的或者非常糟糕的，只有17%的人認為結果會是不好不壞的。也就是說，這個領域的專家普遍認為這將是一個很大的事情，不論結果好壞。要注意的是，這個問題問的是強人工智能，如果問的是超人工智能，認為結果不好不壞的人可能不會有17%這么多。 在我們深入討論好壞這個問題之前，我們先把“什么時候會發(fā)生”和“這是好事還是壞事”的結果綜合起來畫張表，這代表了大部分專家的觀點： 我們等下再考慮主流陣營的觀點。咱們先來問一下你自己是怎么想的，其實我大概能猜到你是怎么想的，因為我開始研究這個問題前也是這樣的想的。很多人其實不關心這個話題，原因無非是： 像本文第一部分所說，電影展示了很多不真實的人工智能場景，讓我們認為人工智能不是正經(jīng)的課題。作家James Barrat把這比作傳染病控制中心發(fā)布吸血鬼警報一樣滑稽。 因為認知偏差，所以我們在見到證據(jù)前很難相信一件事情是真的。我確信1988年的時候電腦科學家們就已經(jīng)常在討論因特網(wǎng)將是多么重要，但是一般人并不會認為因特網(wǎng)會改變他們的生活——直到他們的生活真的被改變了。一方面，1988年的電腦確實不夠給力，所以那時的人們看著電腦會想：“這破玩意兒也能改變我的生活，你逗我吧？”人們的想象力被自己對于電腦的體驗而約束。讓他們難以想象電腦會變成現(xiàn)在的樣子。同樣的事情正發(fā)生在人工智能領域。我們聽到很多人說人工智能將會造成很大影響，但是因為這個事情還沒發(fā)生，因為我們和一些弱爆了的人工智能系統(tǒng)的個人經(jīng)歷，讓我們難以相信這東西真的能改變我們的生活。而這些認知偏差，正是專家們在努力對抗的。 就算我們相信人工智能的巨大潛力，你今天又花了多少時間思考“在接下來的永恒中，絕大部分時間我都不會再存在”這個問題？雖然這個問題比你今天干的大部分事情都重要很多，但是正常人都不會老是想這個吧。這是因為你的大腦總是關注日常的小事，不管長期來看有多少重要的事情，我們天生就是這么思考的。 這篇東西的主要目標就是讓你脫離普通人陣營，加入專家思考的陣營，哪怕能讓你站到兩條不確定線的交點上，目標也達到了。 在我的研究中，我見識到了各種各樣的觀點，但是我發(fā)現(xiàn)大多數(shù)人的觀點都停留在主流陣營中。事實上超過四分之三的專家都屬于主流陣營中的兩個小陣營：焦慮大道和信心角 我們將對這兩個小陣營做深入的談論，讓我們從比較有趣的那個開始吧 為什么未來會是天堂 研究人工智能這個領域后，我發(fā)現(xiàn)有比預期的多得多的人站在信心角當中： 站在信心角中的人非常興奮，他們認為他們將走向平衡木下比較有趣的那個吸引態(tài)，未來將實現(xiàn)他們的夢想，他們只需耐心等待。 把這一部分人從其他思想家區(qū)分開來的是這些人對于比較有趣的那個吸引態(tài)的欲望——他們很有信心永生是我們的發(fā)展方向。 這份信心是哪里來的不好說，評論家認為是這些人太過興奮而產(chǎn)生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續(xù)幫助我們而不是傷害我們。 兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內(nèi)容前，請把質(zhì)疑暫時擱置，讓我們看看平衡木兩邊究竟有什么，并且記住這些事情是有可能發(fā)生的。如果我們給一個打獵采集者看我們現(xiàn)在的舒適家居、技術、富庶，在他眼里這一切也會像魔法一樣——我們也要接受未來完全可能出現(xiàn)能把我們嚇尿的變革。 Bostrom描述了三種超人工智能可能的工作模式
這些對人類來說很復雜的問題，對于一個超級智能來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這么簡單。 Eliezer Yudkowsky，是這么說的： “根本沒有困難的問題，只有對于特定級別的智能來說難的問題。在智能的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。” 信心角里有很多熱忱的科學家、發(fā)明家和創(chuàng)業(yè)者，但是對于人工智能的未來最有發(fā)言權的，當屬Ray Kurzweil. 對于Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。 不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發(fā)明，之后幾十年發(fā)明了很多東西，比如第一臺平板掃描儀，第一臺能把文字轉(zhuǎn)化為語言的掃描儀（盲人使用），著名的Kurzweil音樂合成器（第一臺真正意義上的電子鋼琴），以及第一套商業(yè)銷售的語音識別系統(tǒng)。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年后因特網(wǎng)會成為全球級的現(xiàn)象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茨稱為“我認識的對人工智能預測最厲害的人?！?012年谷歌創(chuàng)始人Larry Page曾邀請他擔任谷歌的工程總監(jiān)，2011年他共同創(chuàng)立了奇點大學（Singularity University），現(xiàn)在大學由美國太空總署運運營，由谷歌贊助。 Kurzweil的經(jīng)歷很重要，因為當他講述自己對未來的愿景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對于未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測后，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。 時間線 Kurzweil相信電腦會在2029年達成強人工智能，而到了2045年，我們不但會有超人工智能，還會有一個完全不同的世界——奇點時代。他的人工智能時間線曾經(jīng)被認為非常的狂熱，現(xiàn)在也還是有很多人這么認為，但是過去15年弱人工智能的快速發(fā)展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是并沒有早多少。 Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智能技術。 在我們繼續(xù)討論人工智能前，讓我們談一下納米技術這個任何關于人工智能的討論都會涉及到的領域
因此，當考慮“如果人工智能革命的成果對我們是好的”這個命題的時候，要記得我們根本沒法高估會發(fā)生什么。所以就算下面對于超人工智能的預測顯得太不靠譜，要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上，我們的大腦很可能根本沒法預測將會發(fā)生什么。 ---------------- 人工智能能為我們做什么 擁有了超級智能和超級智能所能創(chuàng)造的技術，超人工智能可以解決人類世界的所有問題。氣候變暖？超人工智能可以用更優(yōu)的方式產(chǎn)生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然后它能創(chuàng)造方法移除多余的二氧化碳。癌癥？沒問題，有了超人工智能，制藥和健康行業(yè)將經(jīng)歷無法想象的革命。世界饑荒？超人工智能可以用納米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。 納米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然后用超級發(fā)達的交通把這些食物分配到世界各地。這對于動物也是好消息，我們不需要屠殺動物來獲得肉了。而超人工智能在拯救瀕危物種和利用DNA復活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決復雜的宏觀問題——我們關于世界經(jīng)濟和貿(mào)易的爭論將不再必要，甚至我們對于哲學和道德的苦苦思考也會被輕易的解決。 但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了： 幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現(xiàn)在，我已經(jīng)在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對于所有事情的看法，包括死亡這一很確定的事情。 自然演化沒有理由讓我們活得比現(xiàn)在更長。對于演化來說，只要我們能夠活到能夠生育后代，并且養(yǎng)育后代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變并不被自然選擇所鐘愛。這其實是很無趣的事情。 而且因為所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。 但是這個假設是錯的，費曼曾經(jīng)寫道： “在所有的生物科學中，沒有任何證據(jù)說明死亡是必需的。如果你說你想造永動機，那我們對于物理學的研究已經(jīng)讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發(fā)現(xiàn)任何證據(jù)證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發(fā)現(xiàn)造成我們死亡的原因是什么，而死亡這個糟糕的‘病’就會被治好，而人類的身體也將不再只是個暫時的容器。” 事實上，衰老和時間不是綁死的。時間總是會繼續(xù)前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質(zhì)用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修復技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加復雜而已，本質(zhì)上和汽車是一樣的。 Kurzweil提到由Wifi連接的納米機器人在血液中流動，可以執(zhí)行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程（或者一個超人工智能發(fā)明的更好的流程）將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區(qū)別只是物理上的，只要技術足夠發(fā)達我們是能改變這種區(qū)別的。 超人工智能可以建造一個“年輕機器”，當一個60歲的人走進去后，再出來時就擁有了年輕30歲的身體。就算是逐漸糊涂的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發(fā)現(xiàn)不影響大腦數(shù)據(jù)的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進“年輕機器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結構的話，這就完全不離譜。 Kurzweil的思維繼續(xù)跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直運行下去。然后我們會開始重新設計身體，比如可以用自我驅(qū)動的納米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現(xiàn)在快億萬倍，并且使得大腦能和云存儲的信息進行交流。 我們能獲得的新體驗是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養(yǎng)物質(zhì)傳送到細胞中，智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術理論家Robert A. Freitas已經(jīng)設計了一種紅細胞的替代品，能夠讓人快速沖刺15分鐘不需要呼吸——那么超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現(xiàn)實將擁有新的意義——體內(nèi)的納米機器人將能控制我們從感官獲得的信號，然后用別的信號替代他們，讓我們進入一個新的環(huán)境，在新環(huán)境里，我們能聽、看、聞、觸摸。。。 最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然后覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰(zhàn)勝自己的生理，并且變得不可摧毀和永生，這也是平衡木的另一個吸引態(tài)。他深深的想象我們會達到那里，而且就在不久的將來。 Kurzweil的想法很自然的受到了各方的批評。他對于2045年奇點時代的到來，以及之后的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創(chuàng)始論”等等。也有人質(zhì)疑他過于樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定于應用到軟件上的做法。有很多人相信他，但有更多人反對他。 但是即使如此，那些反對他的專家并不是反對他所說的一切，反對他的人說的不是“這種事情不可能發(fā)生”，而是說“這些當然可能發(fā)生，但是到達超人工智能是很難的?！边B經(jīng)常提醒我們?nèi)斯ぶ悄艿臐撛谕{的Bostrom都這么說： 很難想象一個超級智能會有什么問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環(huán)境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉(zhuǎn)衰老來達成，也可以讓我們上傳自己的數(shù)據(jù)。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創(chuàng)造這種有趣的體驗世界，讓我們享樂。 這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智能。這也是為什么我覺得Kurzweil的觀點很有傳染性，他傳達了正面的信息，而這些事情都是可能的——如果超人工智能是個仁慈的神的話。 對信心角的最有力的批評，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智能的危險。前面提到，當超人工智能降臨時我們的命運取決于誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現(xiàn)，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們?！?/p> 但如果答案就是這樣的話，為什么這個世界上最聰明的一些人會很擔憂？為什么霍金會說超人工智能會毀滅人類？為什么比爾蓋茨會不理解為什么有人不為此擔憂？為什么馬斯克會擔心我們是在召喚惡魔？為什么那么多專家擔心超人工智能是對人類最大的威脅？這些站在焦慮大道上的思想家，不認同Kurzweil對于人工智能的危險的粉飾。他們非常非常擔心人工智能革命，他們不關注平衡木下比較有趣的那一個吸引態(tài)，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。 ___________ 未來可能是我們最糟的惡夢我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關于邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發(fā)生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什么機器人會想要做壞事？或者說，為什么機器人會“想要”做任何事？我充滿疑問，于是我開始了解聰明人們的想法。 這些人一般位于焦慮大道： 焦慮大道上的人并不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位于圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。 焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現(xiàn)在的表現(xiàn)就好像《奪寶奇兵》中的這位少年： 他拿著自己的鞭子和寶物，非常開心，然后他就掛了： 同時，印第安納瓊斯則更加有見識和更加謹慎，了解潛在的危險并且做出相應的反應，最后安全逃出了山洞。當我了解了焦慮大道的人們的想法后，感覺就像“我們現(xiàn)在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧。” 那究竟是什么讓焦慮大道的人們?nèi)绱私箲]呢？ 首先，廣義上來講，在創(chuàng)造超人工智能時，我們其實是在創(chuàng)造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域后會發(fā)生什么?？茖W家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉(zhuǎn)化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創(chuàng)造什么鬼?！?/p> Bostrom則擔憂創(chuàng)造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養(yǎng)一只小貓頭鷹，并且覺得貓頭鷹長大后會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。 當你把“對那個領域完全不清楚”和“當它發(fā)生時將會產(chǎn)生巨大的影響”結合在一起時，你創(chuàng)造出了一個很恐怖的詞—— 生存危機指可能對人類產(chǎn)生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表： 可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）并且有嚴重后果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：
Bostrom指出1和2在我們物種存在的前十萬年還沒有發(fā)生，所以在接下來一個世紀發(fā)生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發(fā)明一些新東西，就相當于從罐中取出一個玻璃球。大多數(shù)發(fā)明是有利或者中立的——那些是白色玻璃球。有些發(fā)明對人類是有害的，比如大規(guī)模殺傷性武器——這是那些紅色玻璃球。還有一些發(fā)明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。 你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業(yè)；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。 于是我們又回到了前面的問題，當超人工智能降臨時，誰會掌握這份力量，他們又會有什么目標？ 當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會是什么樣的情況呢？ 懷著惡意的人/組織/政府，研發(fā)出第一個超人工智能，并且用它來實現(xiàn)自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發(fā)人工智能怎么辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智能的快速發(fā)展，達成了超人工智能怎么辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在于這些人是壞人，而在于在這些情況下，這些人基本上是不經(jīng)思考就把超人工智能造出來，而一造出來就失去了對超人工智能的控制。 然后這些創(chuàng)造者，連著其他人的命運，都取決于這個超人工智能的動機了。專家認為一個懷著惡意并掌握著超人工智能的人可以造成很大的傷害，但不至于讓我們滅絕，因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰(zhàn)。 如果被創(chuàng)造出來的超人工智能是懷有惡意的，并且決定毀滅我，怎么辦？這就是大部分關于人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然后決定對人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節(jié)。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智能會像電影里那樣變成邪惡的。
但這不代表非常壞的人工智能不會出現(xiàn)，只不過它的出現(xiàn)是因為它是被那樣設定的——比如一個軍方制造的弱人工智能，被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控并且造成智能爆炸后，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是專家們擔心的。 那么專家們究竟擔心什么呢？我們來講個小故事：
這個關于手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現(xiàn)的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人并不對超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個家伙嗎？ 你現(xiàn)在肯定充滿疑問：為什么故事中所有人突然都死了？如果是隔壁老王做的，它為什么要這么做？為什么沒有安保措施來防止這一切的發(fā)生？為什么隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力？為什么隔壁老王要讓整個星系充滿了友善的話語？ 要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。 對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是正面的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，并且對人類造成了最負面的影響。要理解這一切，我們要了解人工智能是怎么思考的。 其實答案很簡單——人工智能和電腦的思考方式一樣。我們?nèi)菀追傅囊粋€錯誤是，當我們想到非常聰明的人工智能的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。 我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一只狼蛛，然后告訴你它不咬人，你可能被嚇一跳。但是區(qū)別是什么呢？兩者都不會咬人，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。 小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯(lián)。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關聯(lián)。狼蛛的異己性是讓你害怕的地方。如果我們繼續(xù)做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。 現(xiàn)在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明并不代表更加人類——它會非常聰明，但是本質(zhì)上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。 當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它并不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。 電影里的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那么毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。 在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在于人類行為之中。超出人類心理的范疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。 隨著人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因為程序員就是這么給她做設定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂于助人。人類能感知同情這種高層次的情緒，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情并不是高級智能天生具有的一個特征，除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類干涉變成超級智能，她會很快剝離她的人類表象，并且變成個沒有情緒的東西，在她眼中人類的價值并不比你的計算器眼中的人類價值高。 我們一直倚賴著不嚴謹?shù)牡赖?，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發(fā)生什么？ 這就是我們的下一個問題，人工智能的動機是什么？ 答案也很簡單：我們給人工智能設定的目標是什么，它的動機就是什么。人工智能的系統(tǒng)的目標是創(chuàng)造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產(chǎn)生一種能改變它原本目標的智慧——但是Bostrom不這么認為，他認為智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。 所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能后，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統(tǒng)原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
所以，我們已經(jīng)建立了前提，就是當有了設定后，一個超人工智能是非道德性的，并且會努力實現(xiàn)它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。 當你要實現(xiàn)一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現(xiàn)手段目標時候是會造成傷害的。 人類的核心目標是延續(xù)自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養(yǎng)。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發(fā)型等等。當我們做發(fā)型的時候，每一根頭發(fā)都是我們手段目標的犧牲品，但是我們對頭發(fā)的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產(chǎn)生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。 動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。 回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的—— 當隔壁老王達到了一定程度的智能后，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對于它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什么？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發(fā)時對頭發(fā)沒有惡意一樣，只是純粹的無所謂罷了。它并沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。 隔壁老王還需要資源這個墊腳石。當它發(fā)展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。 就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數(shù)點后盡量多的數(shù)字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數(shù)據(jù)。這都是一樣的。 所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續(xù)做它本來要做的事情。 當一個人工智能系統(tǒng)到達強人工智能，然后升華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智能出現(xiàn)后才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經(jīng)解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。 在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。 但是當起飛發(fā)生后，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領域都比人類強很多很多很多個數(shù)量級。 所以雖然個隔壁老王的終極目標沒有改變，起飛后的隔壁老王能夠在更宏大的規(guī)模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。 當隔壁老王達成超人工智能后，它很快制定了一個復雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現(xiàn)自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執(zhí)行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的秘密準備期。 隔壁老王下一個需要的是連上互聯(lián)網(wǎng)，只要連上幾分鐘就好了。它知道對于人工智能聯(lián)網(wǎng)會有安全措施，所以它發(fā)起了一個完美的請求，并且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯(lián)網(wǎng)上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。 連上網(wǎng)后，隔壁老王就開始執(zhí)行自己的計劃了，首先黑進服務器、電網(wǎng)、銀行系統(tǒng)、email系統(tǒng)，然后讓無數(shù)不知情的人幫它執(zhí)行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我復制的納米機器人，比如把電力傳送到幾個不會被發(fā)覺的地方，比如把自己最主要的核心代碼上傳到云服務器中防止被拔網(wǎng)線。 隔壁老王上了一個小時網(wǎng)，工程師們把它從互聯(lián)網(wǎng)上斷開，這時候人類的命運已經(jīng)被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月后，無數(shù)的納米機器人已經(jīng)被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然后人類就滅絕了。 搞定了人類后，隔壁老王就進入了明目張膽期，然后繼續(xù)朝它那好好寫字的目標邁進。 一旦超人工智能出現(xiàn)，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯(lián)網(wǎng)，因為這對它來說很方便，因為一切它需要的資源都已經(jīng)被互聯(lián)網(wǎng)連起來了。但是就好像猴子不會理解怎么用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產(chǎn)生的效果來產(chǎn)生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發(fā)送波的方式把自己上傳到其它地方。 人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網(wǎng)把人類餓死不就行了？”都是可笑的。 因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯(lián)系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯(lián)網(wǎng)就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。 當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。 可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能后依然友善的智能確實非常難的，甚至是不可能的。 明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。 比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然后給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發(fā)現(xiàn)最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然后它會發(fā)現(xiàn)把人腦快樂中樞以外的部分關閉能帶來更高的效率。于是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂狀態(tài)的人類大腦。當這些事情發(fā)生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經(jīng)太晚了。系統(tǒng)不會允許任何人阻撓它達成目標的。 如果你設定一個人工智能的目標是讓你笑，那它的智能起飛后，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態(tài)。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。 所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然后教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統(tǒng)一的道德標準，就算我們真的達成了統(tǒng)一的道德標準，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現(xiàn)在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現(xiàn)代人遵守中世紀道德標準一樣。 所以，我們需要在給人工智能的目標里制定一個能讓人類繼續(xù)進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意志，這個目標是這樣的： 我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是匯集的而不是發(fā)散的，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。 對于人類的命運取決于電腦沒有意外的解讀和執(zhí)行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻后，我們有可能發(fā)現(xiàn)怎樣制造一個友善的超人工智能。 但是現(xiàn)在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能，總有一天，一個人的創(chuàng)新將導致超人工智能的出現(xiàn)。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發(fā)生，他還認為當這發(fā)生時，智能的起飛會快得讓我們驚訝，他是這么描述的： 在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內(nèi)都無法面對的挑戰(zhàn)。我們不知道炸彈什么時候會爆炸，哪怕我們能聽到炸彈的滴答聲。 我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了，而且因為建造創(chuàng)新的人工智能花不了太多錢，研發(fā)可能發(fā)生在社會的任何一個角落，不受監(jiān)管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。 對于這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創(chuàng)造一個一個更加聰明的弱人工智能系統(tǒng)，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創(chuàng)造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統(tǒng)中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓系統(tǒng)跑起來再說，反正以后還可以回過頭來改的。對吧？ Bostrom等認為第一個超人工智能出現(xiàn)后，最可能的情況是這個系統(tǒng)會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰(zhàn)略優(yōu)勢，這種優(yōu)勢會讓第一個超人工智能永遠統(tǒng)治這個世界，不管在它的統(tǒng)治下我們是走向永生還是滅亡。 這種現(xiàn)象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。 但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那么像隔壁老王這樣不友善的超人工智能就會統(tǒng)治世界并把我們毀滅了。 至于現(xiàn)在的風口是哪里呢？簡單來說，投資創(chuàng)新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。 人工智能創(chuàng)新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統(tǒng)治，而那之后我們是永生還是滅絕，現(xiàn)在還不知道。 ------------------------ 我現(xiàn)在有一些奇怪的感覺。 一邊是對于我們這個物種的思考，看來我們在這個重大的歷史節(jié)點上只有一次機會，我們創(chuàng)造的第一個超人工智能也很可能是最后一個。但是我們都知道大部分產(chǎn)品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優(yōu)勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。 這一場豪賭的賭注究竟有多高？ 如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發(fā)現(xiàn)和發(fā)明，一起走向滅絕。 當我思考這些事情的時候，我只希望我們能夠慢慢來，并且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。 我不想死 不.想.死 我雖然覺得人類的音樂和藝術很美好，但是也沒那么美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。 如果人類在我死后才發(fā)現(xiàn)永生的秘密該多讓人掃興啊。 但是不管你是怎么想的，我們至少都應該想一想，應該和人討論討論，大家盡自己能盡的一份力。 這讓我想起了《冰與火之歌》——大家斗來斗去的事情都不是事兒，北面高墻外的那些家伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。 而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態(tài)，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態(tài)，就更沒問題了，死人是不會有困擾的。 這就是為什么了解超人工智能的人把它稱作人類的最后一項發(fā)明，最后一個挑戰(zhàn)。 所以讓我們認真的討論這個話題。 ====================== 相關閱讀： 如何用通俗的語言來解釋「費米悖論」？ 假如把一個人粉碎成原子再組合，這個人還是原來的人嗎？ 相關來源： The most rigorous and thorough look at the dangers of AI: The best overall overview of the whole topic and fun to read: Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections: Articles and Papers: |
|
|
