扎克伯格稱，AI已成為Meta的核心，Meta AI現(xiàn)在是目前可免費(fèi)使用的最智能的人工智能助手，即將推出的Llama 3的大型版本將擁有超過4000億參數(shù)。

在AI模型的訓(xùn)練和發(fā)展方面，小扎提到Llama 3的出現(xiàn)證實(shí)了大規(guī)模數(shù)據(jù)和計(jì)算資源對(duì)于AI模型的重要性，未來，訓(xùn)練大型AI模型可能面臨資本和能源限制等挑戰(zhàn)，強(qiáng)調(diào)AI的出現(xiàn)不是試圖取代人類而是為了賦予人們更強(qiáng)大的工具完成更有挑戰(zhàn)性的任務(wù)，以下為訪談要點(diǎn)：

Dwarkesh Patel： Mark，歡迎來到這個(gè)播客。

Mark Zuckerberg：謝謝你邀請(qǐng)我。我是您播客的忠實(shí)粉絲。

Dwarkesh Patel：非常感謝你的贊美。讓我們先聊聊這次采訪發(fā)布時(shí)也會(huì)同步發(fā)布的產(chǎn)品。能跟我講講關(guān)于Meta AI和相關(guān)模型的最新進(jìn)展嗎?有哪些令人興奮的地方?

Mark Zuckerberg：我想大多數(shù)人會(huì)關(guān)注到的是Meta AI的新版本。我們正在做的最重要的事情是升級(jí)模型。我們發(fā)布了Llama-3。我們以開源的方式提供給開發(fā)者社區(qū)，同時(shí)它也將為Meta AI提供支持。關(guān)于Llama-3有很多值得討論的地方，但我認(rèn)為最重要的一點(diǎn)是，我們現(xiàn)在認(rèn)為Meta AI是人們可免費(fèi)獲得的最智能的AI助手，我們還整合了Google和Bing以獲取實(shí)時(shí)知識(shí)。

我們將讓它在我們的應(yīng)用中更加突出，在Facebook和Messenger的頂部，你可以直接使用搜索框來提出問題。我們還增加了一些我認(rèn)為非常酷、人們會(huì)喜歡的創(chuàng)作功能。我覺得動(dòng)畫是個(gè)很好的例子，你基本上可以拿任何圖像，讓它動(dòng)起來。

人們會(huì)覺得非常驚艷的一點(diǎn)是，它現(xiàn)在可以如此快速地生成高質(zhì)量的圖像，實(shí)際上是在你輸入的同時(shí)實(shí)時(shí)生成和更新的。你輸入你的查詢，它就會(huì)去適配，比如'給我看一張牛站在有山脈背景的田野里，吃著夏威夷果，喝著啤酒的圖片'，它會(huì)實(shí)時(shí)更新圖像，這非?？?，我想人們會(huì)很喜歡的。我覺得這將是大多數(shù)人在現(xiàn)實(shí)世界中能感受到的。我們正在推出它，雖然不是所有地方，但我們從少數(shù)幾個(gè)國家開始，未來幾周和幾個(gè)月會(huì)擴(kuò)大范圍。我認(rèn)為這將是一件很了不起的事情，我真的很興奮能把它交到人們手中。這是Meta AI的一大進(jìn)步。

但如果你想深入了解一下，Llama-3顯然是技術(shù)上最有趣的。我們正在訓(xùn)練三個(gè)版本：我們實(shí)際上訓(xùn)練了三個(gè)版本，分別是80億、700億和4050億的密集模型，其中4050億的模型仍在訓(xùn)練中，所以我們今天并未發(fā)布。但我對(duì)80億和700億的表現(xiàn)非常興奮，按照它們的規(guī)模來看是領(lǐng)先的。我們會(huì)發(fā)布一篇博客文章，附上所有的基準(zhǔn)測(cè)試結(jié)果，人們可以自己去看看，它顯然是開源的，所以大家有機(jī)會(huì)去試用它。

我們有一個(gè)新版本的路線圖，將帶來多模態(tài)性、更多的多語言性以及更大的上下文窗口。希望在今年晚些時(shí)候，我們能推出4050億參數(shù)的版本。就目前的訓(xùn)練情況來看，它在MMLU上已經(jīng)達(dá)到了85分左右，我們預(yù)計(jì)它在許多基準(zhǔn)測(cè)試中都會(huì)有領(lǐng)先的成績。我對(duì)這一切都非常興奮。700億的版本也非常棒。我們今天發(fā)布它。在MMLU上大約是82分，在數(shù)學(xué)和推理方面有領(lǐng)先的成績。我覺得把它交到人們手里會(huì)非?？帷?/span>

Dwarkesh Patel：有意思，這是我第一次聽說MMLU作為一個(gè)基準(zhǔn)。這太令人印象深刻了。

Mark Zuckerberg：80億參數(shù)的版本幾乎與我們發(fā)布的最大版本的Llama-2一樣強(qiáng)大。所以最小的Llama-3基本上與最大的Llama-2一樣強(qiáng)大。

Dwarkesh Patel：在我們深入討論這些模型之前，我想回到過去。我猜想你們是在2022年開始采購這些H100的，或者你可以告訴我具體是什么時(shí)候。當(dāng)時(shí)股價(jià)受到重創(chuàng)。人們問這些資本支出是怎么回事。人們不買賬元宇宙。我想你花費(fèi)資本支出來購買這些H100。你當(dāng)時(shí)是如何知道要買H100的?你怎么知道你需要GPU?

Mark Zuckerberg：我想是因?yàn)槲覀儺?dāng)時(shí)在開發(fā)Reels。我們總是希望有足夠的算力來構(gòu)建一些我們還看不到的未來的東西。我們?cè)陂_發(fā)Reels時(shí)遇到了這樣的情況，我們需要更多的GPU來訓(xùn)練模型。這是我們服務(wù)的一個(gè)重大進(jìn)化。我們不僅僅是對(duì)你關(guān)注的人或主頁的內(nèi)容進(jìn)行排序，我們開始大力推薦我們所謂的非關(guān)聯(lián)內(nèi)容，也就是來自你沒有關(guān)注的人或主頁的內(nèi)容。

我們可能向你展示的內(nèi)容候選庫從數(shù)千個(gè)量級(jí)擴(kuò)大到數(shù)百萬個(gè)量級(jí)。它需要一個(gè)完全不同的基礎(chǔ)設(shè)施。我們開始著手進(jìn)行這項(xiàng)工作，但在基礎(chǔ)設(shè)施方面受到限制，無法以我們想要的速度趕上TikTok的進(jìn)度。我基本上是這樣看的，我想：'嘿，我們必須確保不再陷入這種境地。所以讓我們訂購足夠的GPU來完成Reels、內(nèi)容排名和信息流方面需要做的事情。但讓我們?cè)偌颖丁?再次強(qiáng)調(diào)，我們的普遍原則是，總會(huì)有一些我們還看不到的未來的事物。

Dwarkesh Patel：你知道那會(huì)是AI嗎?

Mark Zuckerberg：我們認(rèn)為那將是與訓(xùn)練大型模型有關(guān)的事情。當(dāng)時(shí)我認(rèn)為可能與內(nèi)容有關(guān)。這只是經(jīng)營公司的一種模式匹配，總會(huì)有另一個(gè)需要應(yīng)對(duì)的方向，當(dāng)時(shí)我深陷于試圖讓Reels和其他內(nèi)容的推薦系統(tǒng)運(yùn)作良好。這對(duì)Instagram和Facebook來說是一個(gè)巨大的突破，能夠向人們展示來自他們甚至沒有關(guān)注的人的有趣內(nèi)容。

但事后看來，這個(gè)決定非常正確，這決定源于我們的落后。這并不是因?yàn)?哦，我想得太多了'。事實(shí)上，大多數(shù)時(shí)候，我們之所以做出一些后來看起來不錯(cuò)的決定，是因?yàn)槲覀冎案阍伊艘恍┦虑?，只是不想重?fù)犯錯(cuò)而已。

Dwarkesh Patel： 這完全是題外話，但我想趁現(xiàn)在問一下。我們一會(huì)兒再回到AI的話題。2006年你沒有以10億美元的價(jià)格出售，但我想你心里肯定有一個(gè)你愿意出售的價(jià)格，對(duì)吧?你有沒有心里盤算過，'我認(rèn)為Facebook當(dāng)時(shí)的實(shí)際估值是多少，而他們給的價(jià)格并不合理'?如果他們出價(jià)5萬億美元，你當(dāng)然會(huì)賣。那么你當(dāng)時(shí)是如何權(quán)衡這個(gè)選擇的?

Mark Zuckerberg： 我覺得有些事情只是個(gè)人層面的。我不知道當(dāng)時(shí)我是否有足夠的精明去做那樣的分析。我周圍的人都在為10億美元找各種論據(jù)，比如'我們需要?jiǎng)?chuàng)造這么多收入，我們需要做到這么大。這顯然是很多年以后的事了。'這遠(yuǎn)遠(yuǎn)超出了我們當(dāng)時(shí)的規(guī)模。我當(dāng)時(shí)并沒有真正具備參與那種辯論所需的金融專業(yè)知識(shí)。

內(nèi)心深處，我相信我們正在做的事情。我做了一些分析，'如果我不做這個(gè)，我會(huì)做什么?嗯，我真的喜歡創(chuàng)造東西，我喜歡幫助人們溝通。我喜歡了解人與人之間正在發(fā)生的事情和互動(dòng)。所以我想，如果我賣掉這家公司，我可能會(huì)再建一家類似的公司，而我還挺喜歡現(xiàn)在這家的。那又何必呢?'我認(rèn)為人們做出的很多最大的賭注往往只是基于信念和價(jià)值觀。其實(shí)要做前瞻性的分析往往是非常困難的。

Mark Zuckerberg: 我不知道時(shí)間表具體如何。我覺得這些事情都會(huì)隨著時(shí)間逐步推進(jìn)。

Dwarkesh Patel: 但最終情況下:Llama-10。

Mark Zuckerberg: 我覺得這個(gè)問題包含了很多內(nèi)容。我不確定我們是在取代人，還是更多地在給人們提供工具來做更多的事情。

Dwarkesh Patel: 有了Llama-10之后，這棟大樓里的程序員會(huì)變得生產(chǎn)力提高10倍嗎?

Mark Zuckerberg: 我希望不止10倍。我不認(rèn)為人類有一個(gè)單一的智力閾值，因?yàn)槿藗冇胁煌募寄?。我認(rèn)為在某個(gè)時(shí)刻，AI可能會(huì)在大多數(shù)事情上超過人類，這取決于模型的強(qiáng)大程度。

但我認(rèn)為這是循序漸進(jìn)的，我不認(rèn)為AGI只是一件事。你基本上是在添加不同的能力。多模態(tài)是我們現(xiàn)在關(guān)注的一個(gè)關(guān)鍵點(diǎn)，最初是照片、圖像和文本，但最終會(huì)延伸到視頻。因?yàn)槲覀兎浅ｊP(guān)注元宇宙，所以3D類型的東西也很重要。我非常關(guān)注的一種模態(tài)，我沒有看到業(yè)內(nèi)有很多其他人關(guān)注，那就是情感理解。人類大腦有如此多的部分只是專門用來理解人、理解表情和情緒的。我認(rèn)為這本身就是一種完整的模態(tài)，使人工智能能夠真正理解并表達(dá)情感，那么人與機(jī)器之間的互動(dòng)將會(huì)變得前所未有的自然和深入。

所以除了在推理和記憶方面有很大的改進(jìn)外，還有許多不同的能力是你希望訓(xùn)練模型去關(guān)注的，而記憶本身就是一個(gè)完整的事情。我認(rèn)為未來我們不會(huì)主要把東西塞進(jìn)一個(gè)查詢上下文窗口來提出更復(fù)雜的問題。會(huì)有不同的存儲(chǔ)器存儲(chǔ)或不同的定制模型，它們會(huì)更加個(gè)性化。這些都只是不同的能力。顯然還有把它們做大做小。我們兩者都關(guān)注。如果你運(yùn)行的是像Meta AI這樣的東西，那是非?；诜?wù)器的。我們也希望它能在智能眼鏡上運(yùn)行，而智能眼鏡中沒有太多空間。所以你希望有一個(gè)非常高效的東西來實(shí)現(xiàn)這一點(diǎn)。

Dwarkesh Patel: 如果你在工業(yè)規(guī)模上使用智能進(jìn)行價(jià)值數(shù)百億美元，甚至最終價(jià)值數(shù)千億美元的推理，那么用例是什么？是模擬嗎？是元宇宙中的人工智能嗎？我們將把數(shù)據(jù)中心用于什么?

Mark Zuckerberg: 我們的賭注是它基本上會(huì)改變所有的產(chǎn)品。我認(rèn)為將會(huì)有一種Meta AI通用助手產(chǎn)品。我認(rèn)為它將從一個(gè)更像聊天機(jī)器人的東西，你問一個(gè)問題，它會(huì)制定一個(gè)答案，轉(zhuǎn)變?yōu)槟憬o它更復(fù)雜的任務(wù)，然后它會(huì)離開并完成這些任務(wù)。因此，這需要大量的推理，也需要大量的計(jì)算和其他方式。

然后我認(rèn)為，與其他人的其他智能體互動(dòng)將是我們所做的一大部分，無論是針對(duì)企業(yè)還是創(chuàng)作者。我對(duì)此的一個(gè)重要理論是，不會(huì)只有一個(gè)你與之交互的單一AI，每個(gè)企業(yè)都會(huì)想要一個(gè)代表他們利益的AI。他們不會(huì)想主要通過一個(gè)會(huì)銷售競(jìng)爭(zhēng)對(duì)手產(chǎn)品的AI與你互動(dòng)。

我認(rèn)為創(chuàng)作者將是一個(gè)很大的群體。我們的平臺(tái)上大約有2億名創(chuàng)作者。他們基本上都有這樣的模式，他們想吸引他們的社區(qū)，但他們受到時(shí)間的限制。他們的社區(qū)通常想吸引他們，但他們不知道自己受到白天時(shí)間的限制。如果你能創(chuàng)造出一種東西，讓創(chuàng)作者基本上可以擁有AI，按照他們想要的方式訓(xùn)練它，并讓他們的社區(qū)參與進(jìn)來，我認(rèn)為這也會(huì)非常強(qiáng)大，所有這些事情都會(huì)有大量的參與。

這些只是消費(fèi)者使用案例。我和妻子經(jīng)營我們的基金會(huì)，陳-扎克伯格倡議。我們?cè)诳茖W(xué)方面做了很多工作，顯然有很多AI工作將推進(jìn)科學(xué)、醫(yī)療保健和所有這些事情。因此，它最終會(huì)影響產(chǎn)品和經(jīng)濟(jì)的基本上每個(gè)領(lǐng)域。

Dwarkesh Patel: 你提到AI可以為你做一些多步驟的事情。這是一個(gè)更大的模型嗎?例如，對(duì)于Llama-4，是否仍然會(huì)有一個(gè)700億參數(shù)的版本，但你只需要在正確的數(shù)據(jù)上訓(xùn)練它，它就會(huì)非常強(qiáng)大?進(jìn)展是什么樣的?是縱向擴(kuò)展嗎?還是像你說的那樣，同樣大小但不同的數(shù)據(jù)庫?

Mark Zuckerberg: 我不知道我們是否知道這個(gè)問題的答案。我認(rèn)為一個(gè)似乎是一種模式的東西是，你有Llama模型，然后你在它周圍構(gòu)建某種其他特定于應(yīng)用程序的代碼。其中一些是針對(duì)用例的微調(diào)，但有些是，例如，Meta AI應(yīng)該如何使用Google或Bing等工具來引入實(shí)時(shí)知識(shí)的邏輯。這不是基礎(chǔ)Llama模型的一部分。對(duì)于Llama-2，我們有一些這樣的東西，它更多的是手工設(shè)計(jì)的。我們對(duì)Llama-3的部分目標(biāo)是將更多這樣的東西納入模型本身。對(duì)于Llama-3，當(dāng)我們開始進(jìn)入更多這些類似于agent的行為時(shí)，我認(rèn)為其中一些將是更多手工設(shè)計(jì)的。我們對(duì)Llama-4的目標(biāo)將是將更多這樣的東西納入模型。

在每一步中，你都會(huì)感覺到在地平線上什么是可能的。你開始擺弄它，在它周圍做一些hack。我認(rèn)為這有助于你磨練你的直覺，知道你想嘗試在下一個(gè)版本的模型中訓(xùn)練什么。這使得它更加通用，因?yàn)轱@然對(duì)于任何你手動(dòng)編碼的東西，你可以解鎖一些用例，但它本質(zhì)上是脆弱的和非通用的。

Dwarkesh Patel: 當(dāng)你說'納入模型本身'時(shí)，你是指在模型本身想要的東西上訓(xùn)練它嗎?你說的'納入模型本身'是什么意思?

Mark Zuckerberg: 對(duì)于Llama-2，工具的使用非常具體，而Llama-3在工具使用方面要好得多。我們不必手動(dòng)編寫所有的東西來讓它使用Google并進(jìn)行搜索。它可以直接做到這一點(diǎn)。類似地，對(duì)于編碼和運(yùn)行代碼以及許多類似的東西也是如此。一旦你獲得了這種能力，你就可以瞥見我們接下來可以開始做什么。我們不一定要等到Llama-4出現(xiàn)才開始構(gòu)建這些功能，所以我們可以開始在它周圍做一些hack。你做了大量的手工編碼，至少在過渡期內(nèi)，這會(huì)使產(chǎn)品變得更好。然后這有助于為我們想要在下一個(gè)版本模型中構(gòu)建的東西指明方向。

Dwarkesh Patel: 你最期待Llama-3的哪個(gè)社區(qū)微調(diào)?也許不是對(duì)你最有用的那個(gè)，而是你最享受玩的那個(gè)。他們?cè)诠糯鷮?duì)它進(jìn)行了微調(diào)，你就會(huì)和維吉爾交談之類的。你對(duì)什么感興趣?

Mark Zuckerberg: 我認(rèn)為這類東西的本質(zhì)是你會(huì)感到驚訝。任何我認(rèn)為有價(jià)值的具體事物，我們可能都在構(gòu)建。我認(rèn)為你會(huì)得到蒸餾版本。我認(rèn)為你會(huì)得到較小的版本。有一點(diǎn)是，我認(rèn)為80億還不夠小，無法滿足大量用例。隨著時(shí)間的推移，我很樂意得到一個(gè)10-20億參數(shù)的模型，甚至是一個(gè)5億參數(shù)的模型，看看你能用它做什么。

如果有80億個(gè)參數(shù)，我們幾乎和最大的Llama-2模型一樣強(qiáng)大，那么有10億個(gè)參數(shù)，你應(yīng)該能做一些有趣的事情，而且速度更快。在將其提供給最強(qiáng)大的模型以完善提示應(yīng)該是什么之前，它非常適合于分類，或者人們?cè)诶斫庥脩舨樵円鈭D方面所做的許多基本事情。我認(rèn)為這可能是社區(qū)可以幫助填補(bǔ)的一個(gè)空白。我們也在考慮自己開始蒸餾其中一些東西，但現(xiàn)在GPU都被用來訓(xùn)練4050億的模型了。

Dwarkesh Patel: 你有所有這些GPU，我想你說過到今年年底會(huì)有35萬個(gè)。

Mark Zuckerberg: 那是整個(gè)系列。我們建造了兩個(gè)，我想是2.2萬或2.4萬的集群，這是我們用來訓(xùn)練大型模型的單個(gè)集群，顯然是在我們所做的很多事情中。我們很多東西都用于訓(xùn)練Reels模型、Facebook新聞源和Instagram信息流。推理對(duì)我們來說是一件大事，因?yàn)槲覀優(yōu)榇罅咳颂峁┓?wù)?？紤]到我們所服務(wù)的社區(qū)的龐大規(guī)模，我們所需的推理計(jì)算與訓(xùn)練之比可能比大多數(shù)從事這些工作的其他公司要高得多。

Dwarkesh Patel: 在他們事先與我分享的材料中，有一點(diǎn)很有趣，你在訓(xùn)練時(shí)使用的數(shù)據(jù)比僅用于訓(xùn)練的計(jì)算最優(yōu)數(shù)據(jù)還要多。推理對(duì)你們來說是一個(gè)大問題，對(duì)社區(qū)也是如此，在里面放入數(shù)萬億個(gè)token是有意義的。

Mark Zuckerberg: 盡管有了700億參數(shù)的模型，有一件有趣的事情是，我們認(rèn)為它會(huì)更加飽和。我們用大約15萬億個(gè)token對(duì)它進(jìn)行了訓(xùn)練。我想我們一開始的預(yù)測(cè)是它會(huì)更多地漸近，但即使在最后它仍在學(xué)習(xí)。我們可能本可以給它更多的token，它就會(huì)變得更好一些。

在某種程度上，你在經(jīng)營一家公司，你需要做這些元推理問題。我是想把我們的GPU花在進(jìn)一步訓(xùn)練700億模型上?我們是想繼續(xù)下去，以便開始測(cè)試Llama-4的假設(shè)?我們需要做出這個(gè)決定，我認(rèn)為我們?cè)谶@個(gè)版本的700億中取得了合理的平衡。未來還會(huì)有其他的700億，多模態(tài)的那個(gè)，會(huì)在接下來的一段時(shí)間內(nèi)推出。但令人著迷的是，在這一點(diǎn)上，架構(gòu)可以接受如此多的數(shù)據(jù)。

Dwarkesh Patel: 這真的很有趣。這對(duì)未來的模型意味著什么?你提到Llama-3的80億比Llama-2的700億還要好。

Mark Zuckerberg: 不，不，它幾乎一樣好。我不想夸大其詞。它在同一數(shù)量級(jí)上。

Dwarkesh Patel: 這是否意味著Llama-4的700億將與Llama-3的4050億一樣好?未來看起來如何?

Mark Zuckerberg: 這是一個(gè)很棒的問題，對(duì)吧?我想沒有人知道。在這個(gè)世界上，計(jì)劃指數(shù)曲線是最棘手的事情之一。它會(huì)持續(xù)多久?我認(rèn)為我們很可能會(huì)繼續(xù)下去。我認(rèn)為值得投資數(shù)百億或超過1000億美元來構(gòu)建基礎(chǔ)設(shè)施，并假設(shè)如果它繼續(xù)發(fā)展，你將獲得一些真正驚人的東西，這將創(chuàng)造出驚人的產(chǎn)品。我不認(rèn)為業(yè)界有任何人真的可以肯定地告訴你它肯定會(huì)以那種速度繼續(xù)擴(kuò)展。一般來說，在歷史上，你在某些時(shí)候會(huì)遇到瓶頸?，F(xiàn)在有如此多的能量投入到這個(gè)領(lǐng)域，也許那些瓶頸會(huì)很快被打破。我認(rèn)為這是一個(gè)有趣的問題。

Dwarkesh Patel: 在沒有這些瓶頸的世界里會(huì)是什么樣子？假設(shè)進(jìn)展只是以這種速度繼續(xù)下去，這似乎是可能的。從更廣的角度看，忘記Llamas...

Mark Zuckerberg: 嗯，會(huì)有不同的瓶頸。在過去幾年里，我認(rèn)為有這個(gè)GPU生產(chǎn)的問題。即使是有錢購買GPU的公司也不一定能得到他們想要的那么多，因?yàn)橛兴羞@些供應(yīng)限制。現(xiàn)在我認(rèn)為這種情況正在減少。所以你看到一群公司現(xiàn)在正在考慮投入大量資金來建設(shè)這些東西。我認(rèn)為這將持續(xù)一段時(shí)間。有一個(gè)資本問題。在什么時(shí)候投入資本就不值得了?

我實(shí)際上認(rèn)為在我們遇到這個(gè)問題之前，你將遇到能源限制。我不認(rèn)為有人已經(jīng)建造了千兆瓦級(jí)的單一訓(xùn)練集群。你遇到的這些東西最終會(huì)在世界上變得更慢。獲得能源許可是一項(xiàng)受到嚴(yán)格管制的政府職能。你從軟件開始，軟件在某種程度上受到監(jiān)管，我認(rèn)為它比許多技術(shù)界人士認(rèn)為的要受到更多監(jiān)管。顯然，如果你正在創(chuàng)辦一家小公司，也許你會(huì)感覺到這一點(diǎn)。我們與世界各地的不同政府和監(jiān)管機(jī)構(gòu)互動(dòng)，我們有很多規(guī)則需要遵守并確保我們做得很好。毫無疑問，能源是受到嚴(yán)格管制的。

如果你在談?wù)摻ㄔO(shè)大型新電廠或大型擴(kuò)建，然后建設(shè)穿越其他私人或公共土地的輸電線路，那只是一件受到嚴(yán)格管制的事情。你說的是多年的準(zhǔn)備時(shí)間。如果我們想建立一些大型設(shè)施，為其供電是一個(gè)非常長期的項(xiàng)目。我認(rèn)為人們會(huì)這樣做，但我不認(rèn)為這是一件可以像達(dá)到一定的人工智能水平、籌集一大筆資金并投入進(jìn)去，然后模型就會(huì)......你確實(shí)會(huì)在過程中遇到不同的瓶頸。

Dwarkesh Patel: 你提到Meta即使研發(fā)預(yù)算或資本支出預(yù)算是現(xiàn)在的10倍，也無法負(fù)擔(dān)得起的事情嗎?有沒有這樣的事情，也許是與人工智能相關(guān)的項(xiàng)目，也許不是，即使像Meta這樣的公司也沒有資源?有沒有你腦海中閃過的事情，但以現(xiàn)在的Meta，你甚至無法為此發(fā)行股票或債券?它的規(guī)模比你的預(yù)算大10倍?

Mark Zuckerberg: 我認(rèn)為能源是一個(gè)方面。我認(rèn)為如果我們能獲得能源，我們可能會(huì)建造比目前更大的集群。

Dwarkesh Patel: 這在極限情況下從根本上受到資金的限制嗎?如果你有1萬億美元......

Mark Zuckerberg: 我認(rèn)為是時(shí)間問題。這取決于指數(shù)曲線走多遠(yuǎn)?，F(xiàn)在許多數(shù)據(jù)中心的規(guī)模在50兆瓦或100兆瓦左右，或者一個(gè)大的數(shù)據(jù)中心可能是150兆瓦。拿一個(gè)整個(gè)數(shù)據(jù)中心，裝滿你需要做訓(xùn)練的所有東西，你建造你能建造的最大的集群。我認(rèn)為有一群公司正在做這樣的事情。

但是當(dāng)你開始建造一個(gè)300兆瓦、500兆瓦或1吉瓦的數(shù)據(jù)中心時(shí)，還沒有人建造過1吉瓦的數(shù)據(jù)中心。我認(rèn)為這將發(fā)生。這只是時(shí)間問題，但不會(huì)是明年的事。其中一些事情需要幾年的時(shí)間來建設(shè)。只是為了說明這一點(diǎn)，我認(rèn)為一個(gè)千兆瓦的數(shù)據(jù)中心相當(dāng)于一個(gè)有意義的核電站，只用于訓(xùn)練一個(gè)模型。

Dwarkesh Patel: 亞馬遜沒有這樣做嗎?他們有950兆瓦的。

Mark Zuckerberg: 我不確切知道他們做了什么。你得問他們。

Dwarkesh Patel: 但它不一定要在同一個(gè)地方，對(duì)吧?如果分布式訓(xùn)練有效，它可以是分布式的。

Mark Zuckerberg: 嗯，我認(rèn)為這是一個(gè)大問題，它將如何工作。未來似乎很有可能，我們所說的這些大型模型的訓(xùn)練實(shí)際上更接近于推理生成合成數(shù)據(jù)，然后再將其輸入模型。我不知道這個(gè)比例會(huì)是多少，但我認(rèn)為合成數(shù)據(jù)的生成比今天的訓(xùn)練更像是推理。顯然，如果你這樣做是為了訓(xùn)練一個(gè)模型，它就是更廣泛的訓(xùn)練過程的一部分。所以這是一個(gè)懸而未決的問題，這個(gè)平衡以及它將如何發(fā)展。

Dwarkesh Patel: 這是否也可能適用于Llama-3，也許從Llama-4開始?就像你把它放出來，如果有人有大量的計(jì)算能力，那么他們就可以使用你放出的模型讓這些東西變得任意智能。假設(shè)有一些隨機(jī)的國家，比如科威特或阿聯(lián)酋，它們有大量的計(jì)算能力，它們實(shí)際上可以只使用Llama-4來制造更智能的東西。

Mark Zuckerberg: 我確實(shí)認(rèn)為會(huì)有這樣的動(dòng)態(tài)，但我也認(rèn)為模型架構(gòu)有一個(gè)根本的限制。我認(rèn)為像我們用Llama-3架構(gòu)訓(xùn)練的700億模型可以變得更好，它可以繼續(xù)發(fā)展。正如我所說，我們覺得如果我們繼續(xù)給它更多的數(shù)據(jù)或再次輪換高價(jià)值的token，它就會(huì)繼續(xù)變得更好。我們已經(jīng)看到世界各地的一群不同的公司基本上采用Llama-2 700億模型架構(gòu)，然后構(gòu)建一個(gè)新的模型。但是當(dāng)你對(duì)Llama-3 700億或Llama-3 4050億進(jìn)行代際改進(jìn)時(shí)，今天還沒有任何類似的開源模型。我認(rèn)為這是一個(gè)巨大的階躍。人們能夠在此基礎(chǔ)上建立的東西，我認(rèn)為不能無限地從那里發(fā)展。在你達(dá)到下一個(gè)階躍之前，可以對(duì)其進(jìn)行一些優(yōu)化。

Dwarkesh Patel: 讓我們從具體的模型甚至你需要獲得能源審批的多年準(zhǔn)備時(shí)間稍微放大一點(diǎn)。大局來看，未來幾十年人工智能會(huì)發(fā)生什么?它感覺像是另一種技術(shù)，比如元宇宙或社交，還是感覺像是人類歷史進(jìn)程中一個(gè)根本不同的東西?

Mark Zuckerberg: 我認(rèn)為它將是非常根本性的。我認(rèn)為它將更像是計(jì)算機(jī)本身的創(chuàng)造。你將獲得所有這些新的應(yīng)用，就像你獲得網(wǎng)絡(luò)或移動(dòng)電話時(shí)一樣。人們基本上重新思考了所有這些體驗(yàn)，因?yàn)橐郧安豢赡艿暮芏嗍虑槎甲兊每赡芰?。所以我認(rèn)為這將會(huì)發(fā)生，但我認(rèn)為這是一個(gè)低得多的創(chuàng)新層次。我的感覺是，它將更像是人們從沒有電腦到有電腦。

在宇宙尺度上，這顯然會(huì)在幾十年的時(shí)間內(nèi)迅速發(fā)生。有一些人擔(dān)心它真的會(huì)失控，并在一夜之間從有點(diǎn)智能變成極其智能。我只是認(rèn)為有所有這些物理限制使得這不太可能發(fā)生。我只是不認(rèn)為這會(huì)發(fā)生。我想我們會(huì)有時(shí)間適應(yīng)一點(diǎn)。但它確實(shí)會(huì)改變我們的工作方式，并為人們提供所有這些創(chuàng)造性的工具來做不同的事情。我認(rèn)為它將真正使人們能夠做更多他們想做的事情。

Dwarkesh Patel: 所以也許不是在一夜之間，但從宇宙尺度來看，我們能以這種方式思考這些里程碑嗎?人類進(jìn)化了，然后人工智能出現(xiàn)了，然后他們?nèi)チ算y河系。也許需要幾十年，也許需要一個(gè)世紀(jì)，但這就是現(xiàn)在正在歷史上發(fā)生的宏偉藍(lán)圖嗎?

Mark Zuckerberg: 抱歉，從什么意義上說?

Dwarkesh Patel: 從這個(gè)意義上說，還有其他技術(shù)，如計(jì)算機(jī)，甚至是火，但人工智能本身的發(fā)展與人類進(jìn)化一樣重要。

Mark Zuckerberg: 我認(rèn)為這很棘手。人類歷史就是人們基本上認(rèn)為人性的某些方面在不同方面真的很獨(dú)特，然后接受這不是真的這一事實(shí)，但人性實(shí)際上仍然非常特別。我們認(rèn)為地球是宇宙的中心，但事實(shí)并非如此，但人類仍然非常棒，非常獨(dú)特，對(duì)吧?

我認(rèn)為人們傾向于有的另一種偏見是認(rèn)為智能在某種程度上與生命有根本的聯(lián)系。它實(shí)際上并不清楚是否如此。我不知道我們是否有足夠清晰的意識(shí)或生命的定義來充分審視這一點(diǎn)。有所有這些科幻小說關(guān)于創(chuàng)造智能，它開始呈現(xiàn)出所有這些類人的行為和類似的東西。目前所有這些東西的化身感覺它正朝著一個(gè)方向發(fā)展，在這個(gè)方向上，智能可以與意識(shí)、能動(dòng)性和類似的東西相當(dāng)分離，我認(rèn)為這只是使它成為一個(gè)超級(jí)有價(jià)值的工具。

Mark Zuckerberg: 顯然，隨著時(shí)間的推移，很難預(yù)測(cè)這些東西會(huì)朝哪個(gè)方向發(fā)展，這就是為什么我認(rèn)為任何人都不應(yīng)該教條地計(jì)劃如何開發(fā)它或計(jì)劃做什么。你要隨著每次發(fā)布來看待它。我們顯然非常支持開源，但我還沒有承諾要發(fā)布我們所做的每一件事。我基本上非常傾向于認(rèn)為，開源對(duì)社區(qū)有好處，也對(duì)我們有好處，因?yàn)槲覀儗膭?chuàng)新中受益。然而，如果在某個(gè)時(shí)刻，這個(gè)東西的能力發(fā)生了一些質(zhì)的變化，而且我們覺得開源它是不負(fù)責(zé)任的，那么我們就不會(huì)開源。這一切都很難預(yù)測(cè)。

Dwarkesh Patel: 如果你在訓(xùn)練Llama-5或Llama-4時(shí)看到了什么具體的質(zhì)變，會(huì)讓你覺得'你知道嗎，我不確定是否要開源它'?

Mark Zuckerberg: 抽象地回答這個(gè)問題有點(diǎn)困難，因?yàn)槿魏萎a(chǎn)品都可能表現(xiàn)出負(fù)面行為，只要你能減輕這些行為，就沒問題。社交媒體有不好的東西，我們努力去緩解。Llama-2也有不好的地方，我們花了很多時(shí)間努力確保它不會(huì)幫助人們實(shí)施暴力行為或類似的事情。這并不意味著它是一種自主的或智能體，這只是意味著它學(xué)到了很多關(guān)于世界的知識(shí)，它可以回答一些我們認(rèn)為讓它回答是沒有幫助的問題。我認(rèn)為問題不在于它會(huì)表現(xiàn)出什么行為，而在于它表現(xiàn)出這些行為后，我們不能緩解什么。

我認(rèn)為有太多方式可以讓事物變得好或壞，以至于很難事先列舉出所有這些方式?？纯次覀?cè)谏缃幻襟w中不得不應(yīng)對(duì)的情況和各種傷害。我們基本上已經(jīng)總結(jié)出大約18或19類人們會(huì)做的有害事情，我們基本上已經(jīng)建立了人工智能系統(tǒng)來識(shí)別這些事情是什么，并盡可能確保這些事情不會(huì)在我們的網(wǎng)絡(luò)上發(fā)生。隨著時(shí)間的推移，我認(rèn)為你也能把它分解成一個(gè)更詳細(xì)的分類。我認(rèn)為這是我們花時(shí)間研究的事情，因?yàn)槲覀兿氪_保我們理解這一點(diǎn)。

Dwarkesh Patel: 在我看來，這是個(gè)好主意。如果在未來，人工智能系統(tǒng)沒有廣泛部署，每個(gè)人都無法訪問它們，我會(huì)感到失望。同時(shí)，我想更好地理解緩解措施。如果緩解措施是微調(diào)，關(guān)于開放權(quán)重的問題是，你可以移除微調(diào)，而微調(diào)通常是在這些能力之上的表面功能。如果它就像在Slack上與生物學(xué)研究人員交談......我認(rèn)為模型離這還很遠(yuǎn)?，F(xiàn)在，它們就像Google搜索。但是如果我能向它們展示我的培養(yǎng)皿，它們能解釋為什么我的天花樣本沒有生長以及需要改變什么，你如何緩解這個(gè)問題?因?yàn)橛腥丝梢灾苯游⒄{(diào)進(jìn)去，對(duì)吧?

Mark Zuckerberg: 這是真的。我認(rèn)為，大多數(shù)人會(huì)選擇直接使用現(xiàn)成的模型，但也有一些心懷不軌的人可能會(huì)試圖利用這些模型進(jìn)行不良行為，另一方面，我在哲學(xué)上如此支持開源的原因之一是，我認(rèn)為未來如果人工智能過度集中化，其潛在風(fēng)險(xiǎn)可能不亞于它的廣泛傳播。許多人都在思考：“如果我們能夠做到這些，那么這些技術(shù)在社會(huì)上的廣泛應(yīng)用是否會(huì)成為壞事？”同時(shí)，另一個(gè)值得思考的問題是，如果一個(gè)機(jī)構(gòu)擁有比其他所有人更強(qiáng)大的人工智能，這是否也是一件壞事？

我想到一個(gè)安全類比，許多不同的事物中存在如此多的安全漏洞。如果你能回到一兩年前，假設(shè)你只是多了一兩年關(guān)于安全漏洞的知識(shí)。你幾乎可以侵入任何系統(tǒng)。這不是人工智能。所以相信一個(gè)非常智能的人工智能可能能夠識(shí)別一些漏洞，基本上就像一個(gè)人類可以回到一兩年前并破壞所有這些系統(tǒng)，這并非完全是天方夜譚。

那么我們作為一個(gè)社會(huì)是如何應(yīng)對(duì)這種情況的呢?一個(gè)重要部分是開源軟件，它使得當(dāng)軟件得到改進(jìn)時(shí)，它不會(huì)只局限于一個(gè)公司的產(chǎn)品，而是可以廣泛部署到許多不同的系統(tǒng)中，無論是銀行、醫(yī)院還是政府的東西。隨著軟件變得更加強(qiáng)大，這是因?yàn)楦嗟娜丝梢钥吹剿?，更多的人可以敲打它，關(guān)于這些東西如何工作有一些標(biāo)準(zhǔn)。世界可以一起很快升級(jí)。

我認(rèn)為，在一個(gè)人工智能被非常廣泛部署的世界里，它已經(jīng)隨著時(shí)間的推移逐步得到強(qiáng)化，所有不同的系統(tǒng)都會(huì)以某種方式受到制約。在我看來，這從根本上比這種情況更集中要健康得多。所以各方面都有風(fēng)險(xiǎn)，但我認(rèn)為這是一種我沒聽到人們談?wù)摰媚敲炊嗟娘L(fēng)險(xiǎn)。有人工智能系統(tǒng)做壞事的風(fēng)險(xiǎn)。但我整夜擔(dān)心的是，一個(gè)不值得信賴的行為者擁有超級(jí)強(qiáng)大的人工智能，無論是敵對(duì)的政府、不值得信賴的公司還是其他什么。我認(rèn)為這可能是一個(gè)大得多的風(fēng)險(xiǎn)。

Dwarkesh Patel: 因?yàn)樗麄冇幸环N別人都沒有的武器?

Mark Zuckerberg: 或者只是制造大量混亂。我的直覺是，由于經(jīng)濟(jì)、安全和其他原因，這些東西最終變得非常重要和有價(jià)值。如果你不信任的人或?qū)κ值玫搅烁鼜?qiáng)大的東西，那么我認(rèn)為這可能是一個(gè)問題。也許緩解這種情況的最佳方式是擁有良好的開源人工智能，使其成為標(biāo)準(zhǔn)，并在許多方面成為領(lǐng)導(dǎo)者。它只是確保這是一個(gè)更加公平和均衡的競(jìng)爭(zhēng)環(huán)境。

Dwarkesh Patel: 這在我看來似乎是合理的。如果這成為現(xiàn)實(shí)，那將是我更喜歡的未來。我想從機(jī)制上理解，世界上存在開源人工智能系統(tǒng)這一事實(shí)如何防止有人用他們的人工智能系統(tǒng)制造混亂?以某人帶著生物武器的具體例子來說，是不是我們會(huì)在世界其他地方做一堆研發(fā)來快速找出疫苗?發(fā)生了什么?

Mark Zuckerberg: 如果你以我提到的安全問題為例，我認(rèn)為擁有較弱人工智能的人試圖侵入一個(gè)由較強(qiáng)人工智能保護(hù)的系統(tǒng)，成功的可能性會(huì)更小。就軟件安全而言。

Dwarkesh Patel: 我們?cè)趺粗朗澜缟系囊磺卸际沁@樣的?如果生物武器不是這樣呢?

Mark Zuckerberg: 我的意思是，我不知道世界上的一切都是這樣的。生物武器是最擔(dān)心這類事情的人關(guān)注的領(lǐng)域之一，我認(rèn)為這很有道理。有一些緩解措施。你可以嘗試不把某些知識(shí)訓(xùn)練到模型中。有不同的做法，但在某種程度上，如果你遇到一個(gè)非常糟糕的行為者，而且你沒有其他人工智能來平衡他們并了解威脅是什么，那可能就是一種風(fēng)險(xiǎn)。這是我們需要注意的事情之一。

Dwarkesh Patel: 在部署這些系統(tǒng)時(shí)，你能看到什么情況嗎?比如你在訓(xùn)練Llama-4，它欺騙了你，因?yàn)樗J(rèn)為你沒有注意到什么，然后你就想'哇，這是怎么回事?'這在Llama-4這樣的系統(tǒng)中可能不太可能，但你能想象有什么類似的情況會(huì)讓你真正擔(dān)心欺騙性，以及數(shù)十億個(gè)這樣的副本在野外傳播嗎?

Mark Zuckerberg: 我的意思是，現(xiàn)在我們看到很多幻覺。更多的是這樣。我認(rèn)為這是一個(gè)有趣的問題，你如何區(qū)分幻覺和欺騙。有很多風(fēng)險(xiǎn)和需要考慮的事情。至少在經(jīng)營我們公司時(shí)，我努力在這些長期的理論風(fēng)險(xiǎn)與我實(shí)際認(rèn)為當(dāng)今存在的相當(dāng)真實(shí)的風(fēng)險(xiǎn)之間取得平衡。所以當(dāng)你談到欺騙時(shí)，我最擔(dān)心的形式是人們利用這個(gè)來制造錯(cuò)誤信息，然后通過我們的網(wǎng)絡(luò)或其他網(wǎng)絡(luò)來傳播。我們對(duì)抗這種有害內(nèi)容的方式是建立比對(duì)抗性更智能的人工智能系統(tǒng)。

這也是我對(duì)此理論的一部分。如果你看看人們通過社交網(wǎng)絡(luò)做或試圖做的各種傷害，有一些并不是非常具有對(duì)抗性的。例如，仇恨言論在人們沒有在種族主義方面變得更好這個(gè)意義上并不是超級(jí)對(duì)抗性的。在這一點(diǎn)上，我認(rèn)為人工智能總體上變得越來越復(fù)雜，其速度比人們?cè)谶@些問題上要快得多。我們兩方面都有問題。人們做壞事，無論是試圖煽動(dòng)暴力還是其他什么，但我們也有很多誤報(bào)，基本上是我們不應(yīng)該審查的東西。我認(rèn)為這可以理解地讓很多人感到惱火。所以我認(rèn)為隨著時(shí)間的推移，擁有一個(gè)在這方面越來越精確的人工智能將是好事。

在這些情況下，我仍然考慮讓我們的人工智能系統(tǒng)以比他們更快的速度變得更加復(fù)雜的能力。這是一場(chǎng)軍備競(jìng)賽，但我認(rèn)為我們至少目前正在贏得這場(chǎng)軍備競(jìng)賽。這是我花時(shí)間思考的很多東西。

是的，無論是Llama-4還是Llama-6，我們都需要思考我們觀察到的行為

Dwarkesh Patel：你把它開源的部分原因是，還有很多其他人也在研究這個(gè)。

Mark Zuckerberg：所以，是的，我們想看看其他人在觀察什么，我們?cè)谟^察什么，我們可以改善什么。然后我們會(huì)評(píng)估是否可以將其開源。但我認(rèn)為在可預(yù)見的未來，我對(duì)我們能夠做到這一點(diǎn)持樂觀態(tài)度。在短期內(nèi)，我不想忽視人們今天試圖使用這些模型的實(shí)際壞事，即使它們不是存在的，但它們就像我們熟悉的和運(yùn)行我們的服務(wù)的相當(dāng)嚴(yán)重的日常危害。實(shí)際上，我認(rèn)為這也是我們必須花費(fèi)大量時(shí)間的事情。

我發(fā)現(xiàn)合成數(shù)據(jù)的事情真的很奇怪，我實(shí)際上感興趣的是為什么你不像當(dāng)前的模型那樣思考，為什么一遍又一遍地進(jìn)行合成數(shù)據(jù)可能會(huì)有漸近線是有道理的。如果他們變得更聰明，并采用我在論文或博客文章中提到的那種技術(shù)，這些技術(shù)將在發(fā)布當(dāng)天被廣泛應(yīng)用，它將引領(lǐng)正確的思維鏈條。為什么這不會(huì)形成一個(gè)循環(huán)呢？

當(dāng)然，這不會(huì)在一夜之間發(fā)生，而是需要經(jīng)過數(shù)月甚至數(shù)年的訓(xùn)練?？赡軙?huì)使用更智能的模型，它會(huì)變得更聰明，產(chǎn)生更好的輸出，然后再變得更聰明，如此循環(huán)。我認(rèn)為這是在模型架構(gòu)的參數(shù)范圍內(nèi)可以實(shí)現(xiàn)的。

在某種程度上，我并不確定，我認(rèn)為就像今天的80億參數(shù)模型一樣，我并不認(rèn)為你能夠像最先進(jìn)的數(shù)千億參數(shù)模型那樣好，這些模型將新的研究融入到架構(gòu)本身中。但這些模型也會(huì)是開源的，但我認(rèn)為這取決于我們剛才討論的所有問題。

我們希望情況會(huì)是這樣。然而，在每個(gè)階段，就像你在開發(fā)軟件時(shí)，你可以用軟件做很多事情，但在某種程度上，你會(huì)受到運(yùn)行它的芯片的限制，所以總是會(huì)有不同的物理限制。模型的大小會(huì)受到你可以獲得和用于推理的能量的限制。所以我同時(shí)非常樂觀地認(rèn)為這些東西會(huì)繼續(xù)快速改進(jìn)。

我比有些人更謹(jǐn)慎，我只是認(rèn)為失控的情況不太可能發(fā)生。我認(rèn)為保持選擇的開放是有意義的。我們面臨的未知事物太多了。有一種情況是，保持權(quán)力平衡真的很重要。就像有一場(chǎng)智力爆炸，他們喜歡贏得勝利。很多事情似乎都是可能的。就像保持你的選擇開放一樣，考慮所有的選擇似乎是合理的。

Dwarkesh Patel: Meta作為一家大公司。你可以兩者兼顧。至于開源的其他危險(xiǎn)，我認(rèn)為你提出了一些真正合理的觀點(diǎn)，關(guān)于力量平衡的問題、以及我們可以通過更好的對(duì)齊技術(shù)或其他方式消除的危害。我希望Meta有某種框架。其他實(shí)驗(yàn)室有這樣的框架，他們會(huì)說'如果我們看到這個(gè)具體的事情，那就不能開源，甚至可能不能部署。'只是把它寫下來，這樣公司就做好了準(zhǔn)備，人們對(duì)此有所期待等等。

Mark Zuckerberg: 關(guān)于存在性風(fēng)險(xiǎn)方面，這是一個(gè)很好的觀點(diǎn)。現(xiàn)在我們更關(guān)注我們今天看到的風(fēng)險(xiǎn)類型，更多的是這些內(nèi)容風(fēng)險(xiǎn)，我們不希望模型做一些幫助人們實(shí)施暴力、欺詐或以不同方式傷害人們的事情。談?wù)摯嬖谛燥L(fēng)險(xiǎn)可能在智力上更有趣，但我實(shí)際上認(rèn)為，需要更多精力來緩解的真正危害是，有人拿著模型做一些傷害他人的事情。在實(shí)踐中，對(duì)于當(dāng)前的模型，我猜測(cè)下一代模型，甚至再下一代模型，這些都是我們今天看到的更普通的危害，比如人們互相欺詐之類的。我只是不想低估這一點(diǎn)。我認(rèn)為我們有責(zé)任確保在這方面做好工作。

Dwarkesh Patel: Meta是一家大公司。你可以兩者兼顧。

Mark Zuckerberg: 沒錯(cuò)。

Dwarkesh Patel: 讓我們來談?wù)勂渌虑?。元宇宙。你最想去人類歷史上的哪個(gè)時(shí)期?從公元前10萬年到現(xiàn)在，你只是想看看那時(shí)候是什么樣子?

Mark Zuckerberg: 一定要是過去嗎?

Dwarkesh Patel: 是的一定是過去。

Mark Zuckerberg: 我對(duì)美國歷史和古典歷史非常感興趣。我對(duì)科學(xué)史也很感興趣。我實(shí)際上認(rèn)為看到并試圖了解更多關(guān)于一些重大進(jìn)展是如何發(fā)生的會(huì)很有趣。關(guān)于這些東西，我們所擁有的只是一些有限的知識(shí)。我不確定元宇宙是否能讓你做到這一點(diǎn)，因?yàn)閷?duì)于我們沒有記錄的事情要回到過去是很難的。我實(shí)際上不確定回到過去是否會(huì)是一件重要的事情。我認(rèn)為這對(duì)歷史課之類的東西會(huì)很酷，但這可能不是我對(duì)元宇宙整體最興奮的用例。

主要的事情就是能夠與人感覺在一起，無論你在哪里。我認(rèn)為那將是致命的。在我們進(jìn)行的關(guān)于人工智能的對(duì)話中，很多內(nèi)容都是關(guān)于所有這些背后的物理限制。

我認(rèn)為技術(shù)的一個(gè)教訓(xùn)是，你要盡可能地將事物從物理約束領(lǐng)域轉(zhuǎn)移到軟件中，因?yàn)檐浖臉?gòu)建和發(fā)展要容易得多。你可以讓它更加民主化，因?yàn)椴皇敲總€(gè)人都會(huì)有數(shù)據(jù)中心，但很多人可以編寫代碼并修改開源代碼。元宇宙版本的目標(biāo)是實(shí)現(xiàn)真實(shí)的數(shù)字化存在。這將是一個(gè)絕對(duì)巨大的差異，所以人們不會(huì)覺得他們必須為很多事情在一起。現(xiàn)在我認(rèn)為，在一起可能會(huì)有一些更好的東西。這些事情不是非黑即白的。不會(huì)像是'好了，現(xiàn)在你不需要再這樣做了。'但總的來說，我認(rèn)為這對(duì)于社交、與人聯(lián)系、工作、工業(yè)的某些部分、醫(yī)學(xué)以及許多其他事情來說都將是非常強(qiáng)大的。

Dwarkesh Patel: 我想回到你在談話開始時(shí)說的一件事。你沒有以10億美元的價(jià)格出售公司。關(guān)于元宇宙，你知道你要做這件事，即使市場(chǎng)因此而猛烈抨擊你。我很好奇。這種優(yōu)勢(shì)的來源是什么?你說'哦，價(jià)值觀，我有這種直覺'，但每個(gè)人都這么說。如果你要說一些你特有的東西，你會(huì)如何表達(dá)?你為什么如此確信元宇宙?

Mark Zuckerberg: 我認(rèn)為這些是不同的問題。是什么驅(qū)動(dòng)著我?我們已經(jīng)談了很多主題。我只是真的喜歡創(chuàng)造東西，我特別喜歡圍繞人們?nèi)绾谓涣饕约袄斫馊藗內(nèi)绾伪磉_(dá)自己和工作來創(chuàng)造事物。我上大學(xué)時(shí)學(xué)的是計(jì)算機(jī)科學(xué)和心理學(xué)，我認(rèn)為業(yè)內(nèi)很多其他人學(xué)的是計(jì)算機(jī)科學(xué)。所以對(duì)我來說，這兩件事的交集一直很重要。

這也是一種非常深層的驅(qū)動(dòng)力。我不知道如何解釋，但我從內(nèi)心感到，如果我不創(chuàng)造新事物，我就是在做錯(cuò)事。即使在我們?yōu)橥顿Y1000億美元在人工智能上或在元宇宙投入巨額資金制定商業(yè)案例時(shí)，，我們有計(jì)劃，我認(rèn)為這些計(jì)劃非常明確，如果我們的東西有效，那將是一項(xiàng)很好的投資。但你不能從一開始就知道，而且，人們有各種各樣的爭(zhēng)論，無論是與顧問還是不同的人。

Dwarkesh Patel: 好吧，你怎么能，你怎么有足夠的信心去做這件事？你不可能從一開始就確定無疑。人們有各種爭(zhēng)論，與顧問或不同的人討論。你怎么有足夠的信心去做這件事?

Mark Zuckerberg: 我停止嘗試創(chuàng)造新事物的那一天，我就完了，我會(huì)去別的地方創(chuàng)造新事物。我從根本上無法經(jīng)營一些東西或者在我自己的生活中，不去嘗試創(chuàng)造我認(rèn)為有趣的新事物。對(duì)我來說，我們是否要嘗試創(chuàng)造下一個(gè)東西，這甚至不是一個(gè)問題。我就是無法不這樣做，我不知道。

我在生活的方方面面都是這樣的。我們的家人在考艾島建造了這個(gè)牧場(chǎng)，我參與設(shè)計(jì)了所有這些建筑。我們開始養(yǎng)牛，我就想'好吧，我想養(yǎng)出世界上最好的牛，那么我們?nèi)绾卧O(shè)計(jì)這個(gè)牧場(chǎng)，以便我們能夠弄清楚并建造我們需要嘗試做的所有東西。我不知道，這就是我。

Dwarkesh Patel: 我不確定，但我實(shí)際上對(duì)另一件事很好奇。19歲的你讀了很多古代和古典作品，包括高中和大學(xué)期間。你從中學(xué)到了什么重要的一課？不僅僅是你發(fā)現(xiàn)的有趣的東西，而且像……到你19歲的時(shí)候，你消耗的Token并不多。其中很多都是關(guān)于經(jīng)典的。顯然，這在某種程度上很重要。

Mark Zuckerberg: 你消耗的token并不多......這是個(gè)好問題。這是我認(rèn)為非常有趣的事情之一。奧古斯都成為皇帝，他試圖建立和平。當(dāng)時(shí)沒有真正的和平概念。人們對(duì)和平的理解是敵人不可避免地攻擊你之間的暫時(shí)時(shí)期。所以你可以得到短暫的休息。他有這樣一種觀點(diǎn)，即將經(jīng)濟(jì)從雇傭兵和軍事主義的東西轉(zhuǎn)變?yōu)閷?shí)際上的正和游戲。這在當(dāng)時(shí)是一個(gè)非常新穎的想法。

這是一件非常根本的事情: 人們當(dāng)時(shí)可以想象的作為理性工作方式的界限。這既適用于元宇宙，也適用于人工智能的東西。許多投資者和其他人無法理解我們?yōu)槭裁匆_源。就像是'我不明白，它是開源的。這一定只是你讓事物成為專有的臨時(shí)時(shí)期，對(duì)吧?'我認(rèn)為這是技術(shù)中一個(gè)非常深刻的東西，它實(shí)際上創(chuàng)造了很多贏家。

我不想過度強(qiáng)調(diào)這個(gè)類比，但我確實(shí)認(rèn)為，很多時(shí)候，有一些構(gòu)建事物的模式是人們通常無法理解的。他們無法理解這對(duì)人們來說怎么會(huì)是一件有價(jià)值的事情，或者它怎么會(huì)是一種合理的世界狀態(tài)。我認(rèn)為，比人們想象的更合理的事情還有很多。

Dwarkesh Patel: 這非常有趣。我能告訴你我在想什么嗎?關(guān)于你可能從中得到的東西?這可能完全不對(duì)，但我認(rèn)為關(guān)鍵是其中一些人有很重要的角色，他們?cè)诘蹏械哪挲g有多小。例如，凱撒·奧古斯都，在他19歲的時(shí)候，已經(jīng)是羅馬政治中最重要的人物之一。他正在領(lǐng)導(dǎo)戰(zhàn)斗，組建第二次三頭統(tǒng)治。我想知道19歲的你是否在想'我能做到這一點(diǎn)，因?yàn)閯P撒·奧古斯都做到了。'

Mark Zuckerberg: 這是一個(gè)有趣的例子，無論是在很多歷史還是美國歷史中都是如此。我最喜歡的一句話是畢加索的這句話，所有的孩子都是藝術(shù)家，挑戰(zhàn)在于隨著年齡的增長保持藝術(shù)家的身份。當(dāng)你年輕的時(shí)候，有瘋狂的想法更容易。在你的生活中，以及對(duì)于你的公司或你建立的任何東西，都存在著所有這些與創(chuàng)新者困境的類比。你在軌跡上處于較早的位置，所以更容易轉(zhuǎn)向并接受新的想法，而不會(huì)破壞對(duì)不同事物的其他承諾。我認(rèn)為這是經(jīng)營公司的一個(gè)有趣的部分。你如何保持動(dòng)態(tài)?

Dwarkesh Patel: 讓我們回到投資者和開源的話題。100億美元的模型，假設(shè)它是完全安全的。你已經(jīng)做了這些評(píng)估，與本例不同的是，評(píng)估者也可以微調(diào)模型，希望在未來的模型中也是如此。你會(huì)開源這個(gè)100億美元的模型嗎?

Mark Zuckerberg: 只要它對(duì)我們有幫助，那就會(huì)。

Dwarkesh Patel: 但會(huì)有幫助嗎?100億美元的研發(fā)，現(xiàn)在它是開源的。

Mark Zuckerberg: 這也是一個(gè)我們需要隨著時(shí)間的推移進(jìn)行評(píng)估的問題。我們有很長的開源軟件歷史，但我們不傾向于開源我們的產(chǎn)品，我們不會(huì)拿Instagram的代碼來開源。

我們采用了很多底層基礎(chǔ)設(shè)施，并將其開源。我們歷史上最大的一次可能是我們的Open Compute項(xiàng)目，我們采用了我們所有服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心的設(shè)計(jì)，并將其開源，最終它被證明非常有幫助。雖然很多人可以設(shè)計(jì)服務(wù)器，但業(yè)界現(xiàn)在都采用了我們的設(shè)計(jì)標(biāo)準(zhǔn)，這意味著供應(yīng)鏈基本上都是圍繞我們的設(shè)計(jì)建立的。因此，產(chǎn)量上升，對(duì)每個(gè)人來說都更便宜，為我們節(jié)省了數(shù)十億美元，這太棒了。

因此，開源可能對(duì)我們有幫助的方式有多種。一種是如果人們想出了如何更便宜地運(yùn)行模型。隨著時(shí)間的推移，我們將在所有這些東西上花費(fèi)數(shù)百億美元甚至更多。因此，如果我們能提高10%的效率，我們就能節(jié)省數(shù)十億或數(shù)百億美元。這本身可能就值得很多。尤其是如果還有其他有競(jìng)爭(zhēng)力的模型，我們的東西并不是在贈(zèng)送某種瘋狂的優(yōu)勢(shì)。

Dwarkesh Patel: 那么你的觀點(diǎn)是訓(xùn)練將被商品化嗎?

Mark Zuckerberg: 我認(rèn)為這可能有很多種發(fā)展方式，這是其中之一。因此，'商品化'意味著它將變得非常便宜，因?yàn)橛泻芏噙x擇。這可能發(fā)展的另一個(gè)方向是質(zhì)的改進(jìn)。你提到了微調(diào)。現(xiàn)在，你可以用微調(diào)其他主要模型做的事情非常有限。有一些選擇，但通常不適用于最大的模型。有能力做到這一點(diǎn)，不同的特定應(yīng)用程序的事情或特定用例的事情，或者將它們構(gòu)建到特定的工具鏈中。我認(rèn)為這不僅會(huì)實(shí)現(xiàn)更高效的開發(fā)，還可能實(shí)現(xiàn)質(zhì)的不同。

這里有一個(gè)類比。我認(rèn)為移動(dòng)生態(tài)系統(tǒng)普遍存在的一個(gè)問題是，你有這兩家把關(guān)公司，蘋果和谷歌，它們可以告訴你允許構(gòu)建什么。有一個(gè)經(jīng)濟(jì)版本，就像我們構(gòu)建一些東西，然后他們就拿走你一大筆錢。但還有一個(gè)質(zhì)的版本，這實(shí)際上更讓我不高興。

有很多次，我們推出或想推出一些功能，而蘋果就說'不，你不能推出。'這很糟糕，對(duì)吧，所以問題是，我們是否為人工智能建立了這樣一個(gè)世界?你將得到少數(shù)幾家運(yùn)行這些封閉模型的公司，它們將控制API，因此能夠告訴你可以構(gòu)建什么?

對(duì)我們來說，我可以說為了確保我們不處于那個(gè)位置，自己去構(gòu)建一個(gè)模型是值得的。我不希望任何其他公司告訴我們可以構(gòu)建什么。從開源的角度來看，我認(rèn)為很多開發(fā)人員也不希望那些公司告訴他們可以構(gòu)建什么。

所以問題是，圍繞這一點(diǎn)構(gòu)建的生態(tài)系統(tǒng)是什么？有哪些有趣的新事物？這在多大程度上改善了我們的產(chǎn)品?我知道有很多情況下，如果這最終成為我們的數(shù)據(jù)庫或緩存系統(tǒng)或架構(gòu)，我們將從社區(qū)獲得寶貴的貢獻(xiàn)，這將使我們的產(chǎn)品更好。然后，我們所進(jìn)行的特定應(yīng)用程序的工作仍然具有如此大的差異性，以至于它實(shí)際上并不重要，對(duì)嗎？

也許該模型最終更像是產(chǎn)品本身，在這種情況下，我認(rèn)為是否開源就成了一個(gè)更為復(fù)雜的經(jīng)濟(jì)計(jì)算，因?yàn)檫@樣做在很大程度上就是將自己商品化。但從我目前所看到的情況來看，我們似乎還沒有達(dá)到那個(gè)水平。

Dwarkesh Patel: 你是否期望從向云提供商許可你的模型中獲得可觀的收入?所以他們必須支付費(fèi)用才能實(shí)際提供該模型。

Mark Zuckerberg: 我們希望有這樣的安排，但我不知道它會(huì)有多重要。這基本上是我們對(duì)Llama的許可，在很多方面,它是一個(gè)非常寬松的開源許可,只是我們對(duì)最大的公司使用它有一個(gè)限制。這就是我們?cè)O(shè)置這個(gè)限制的原因。我們不是試圖阻止他們使用它。我們只是希望他們來與我們交談,如果他們打算基本上拿走我們構(gòu)建的東西,轉(zhuǎn)售它并從中賺錢。如果你是像Microsoft Azure或Amazon這樣的公司,如果你打算轉(zhuǎn)售該模型,那么我們應(yīng)該在其中分一杯羹。所以在你去做之前,先來和我們談?wù)?。事情就是這樣發(fā)展的。

所以對(duì)于Llama-2,我們與基本上所有這些主要云公司都有交易,Llama-2作為托管服務(wù)在所有這些云上都可用。我假設(shè),隨著我們發(fā)布越來越大的模型,這將成為一件更大的事情。這不是我們正在做的主要事情,但我認(rèn)為,如果這些公司要銷售我們的模型,我們應(yīng)該以某種方式分享其中的好處,這是有道理的。

Dwarkesh Patel: 關(guān)于開源的其他危險(xiǎn)，我認(rèn)為你提出了一些真正合理的觀點(diǎn),關(guān)于力量平衡的問題,以及我們可以通過更好的對(duì)齊技術(shù)或其他方式消除的危害。我希望Meta有某種框架。其他實(shí)驗(yàn)室有這樣的框架,他們會(huì)說'如果我們看到這個(gè)具體的事情,那就不能開源,甚至可能不能部署。'只是把它寫下來,這樣公司就做好了準(zhǔn)備,人們對(duì)此有所期待等等。

Mark Zuckerberg: 關(guān)于存在性風(fēng)險(xiǎn)方面,這是一個(gè)很好的觀點(diǎn)?，F(xiàn)在我們更關(guān)注我們今天看到的風(fēng)險(xiǎn)類型,更多的是這些內(nèi)容風(fēng)險(xiǎn)。我們不希望模型做一些幫助人們實(shí)施暴力、欺詐或以不同方式傷害人們的事情。雖然談?wù)摯嬖谛燥L(fēng)險(xiǎn)可能在智力上更有趣,但我實(shí)際上認(rèn)為,需要更多精力來緩解的真正危害是,有人拿著模型做一些傷害他人的事情。在實(shí)踐中,對(duì)于當(dāng)前的模型,我猜測(cè)下一代模型,甚至再下一代模型,這些都是我們今天看到的更普通的危害,比如人們互相欺詐之類的。我只是不想低估這一點(diǎn)。我認(rèn)為我們有責(zé)任確保在這方面做好工作。

Dwarkesh Patel: 就開源而言，我感到好奇的是，你認(rèn)為PyTorch、React、Open Compute等開源項(xiàng)目對(duì)世界的影響，是否有可能超越Meta在社交媒體方面的影響？我曾與這些服務(wù)的用戶交流過，他們認(rèn)為這種可能性是存在的，畢竟互聯(lián)網(wǎng)的大部分運(yùn)行都依賴于這些開源項(xiàng)目。

Mark Zuckerberg: 我們的消費(fèi)產(chǎn)品確實(shí)在全球范圍內(nèi)擁有龐大的用戶基礎(chǔ)，幾乎覆蓋了全世界一半的人口。然而，我認(rèn)為開源正成為一種全新的、強(qiáng)大的構(gòu)建方式。它可能會(huì)像貝爾實(shí)驗(yàn)室一樣，最初他們研發(fā)晶體管是為了實(shí)現(xiàn)長途通話，這一目標(biāo)確實(shí)實(shí)現(xiàn)了，并為他們帶來了可觀的利潤。但5到10年后，當(dāng)人們回顧他們最引以為傲的發(fā)明時(shí)，可能會(huì)提到其他更有深遠(yuǎn)影響的技術(shù)。

我堅(jiān)信，我們構(gòu)建的許多項(xiàng)目，如Reality Labs、某些AI項(xiàng)目以及一些開源項(xiàng)目，將對(duì)人類的進(jìn)步產(chǎn)生持久而深遠(yuǎn)的影響。雖然具體的產(chǎn)品會(huì)隨著時(shí)間的推移不斷發(fā)展、出現(xiàn)和消失，但它們對(duì)人類社會(huì)的貢獻(xiàn)卻是持久的。這也是我們作為技術(shù)從業(yè)者能夠共同參與的、令人振奮的部分。

Dwarkesh Patel: 關(guān)于你們的Llama模型，它何時(shí)會(huì)在你們自己的定制芯片上進(jìn)行訓(xùn)練？

Mark Zuckerberg: 很快，我們正在努力推動(dòng)這一進(jìn)程，但Llama-4可能不是首個(gè)在定制芯片上進(jìn)行訓(xùn)練的模型。我們采取的方法是，自研定制芯片先處理我們的排名和推薦類型的推理任務(wù)，比如Reels、新聞源廣告等。這一旦我們能夠?qū)⑦@些任務(wù)轉(zhuǎn)移到我們自己的芯片上，我們就能將更昂貴的英偉達(dá)GPU用于訓(xùn)練更復(fù)雜的模型。

在不久的將來，我們有希望自己擁自己的芯片，我們可以首先用它來訓(xùn)練一些比較簡單的東西，然后最終訓(xùn)練這些非常大的模型。同時(shí)，我要說這個(gè)項(xiàng)目進(jìn)展得很順利，我們正在有條不紊地推進(jìn)，我們有一個(gè)長期的路線圖。

Dwarkesh Patel: 最后一個(gè)問題。這完全是題外話，如果你被任命為Google+的CEO，你能讓它成功嗎?

Mark Zuckerberg:Google+？哦。好吧，我不知道。我不知道,這是一個(gè)非常困難的反事實(shí)。

Dwarkesh Patel: 好的,那真正的最后一個(gè)問題是:當(dāng)Gemini推出時(shí),辦公室里有人說過 'Carthago delenda est'(迦太基必須被摧毀)嗎?

Mark Zuckerberg: 不，我想我們現(xiàn)在更溫和了。這是個(gè)好問題。問題是Google+沒有CEO。它只是公司內(nèi)部的一個(gè)部門。你之前問過什么是最稀缺的商品，但你問的是美元方面的問題。我實(shí)際上認(rèn)為，對(duì)于大多數(shù)這種規(guī)模的公司來說，最稀缺的是專注。

當(dāng)你是一家初創(chuàng)公司時(shí)，也許你在資金方面更受限制。你只專注于一個(gè)想法,你可能沒有所有的資源。在某個(gè)時(shí)候，你會(huì)跨越一個(gè)門檻，進(jìn)入你所做事情的本質(zhì)。你正在構(gòu)建多個(gè)東西，你在它們之間創(chuàng)造了更多價(jià)值，但你在能夠投入其中的精力上變得更加受限。

總有一些情況，組織中會(huì)隨機(jī)發(fā)生一些很棒的事情，而我甚至都不知道。那些都很棒。但我認(rèn)為一般來說,組織的能力在很大程度上受到CEO和管理團(tuán)隊(duì)能夠監(jiān)督和管理的內(nèi)容的限制。這對(duì)我們來說一直是一個(gè)重點(diǎn)。正如本·霍洛維茨所說，我們應(yīng)該把主要的事情放在首位，并盡量專注于你的關(guān)鍵優(yōu)先事項(xiàng)。

Dwarkesh Patel: 非常好，非常感謝。馬克，你做得太棒了。