 吳恩達(dá)是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的國際知名專家。他曾任百度首席科學(xué)家，主導(dǎo)百度的人工智能研究與應(yīng)用。在谷歌期間，他參與開發(fā)谷歌大腦項(xiàng)目。他創(chuàng)辦的在線教育平臺(tái) Coursera，提供大量 AI、機(jī)器學(xué)習(xí)課程，推動(dòng)相關(guān)知識(shí)普及。還著有《深度學(xué)習(xí)》一書，為從業(yè)者提供理論與實(shí)踐指導(dǎo)。他最近在  他最近在 親愛的朋友們， 本周 DeepSeek 的討論讓許多人認(rèn)識(shí)到一些顯而易見的重要趨勢：(i) 中國在生成 AI 領(lǐng)域正在趕超美國，這對(duì) AI 供應(yīng)鏈產(chǎn)生了影響。(ii) 開放權(quán)重模型正在將基礎(chǔ)模型層商品化，這為應(yīng)用程序構(gòu)建者創(chuàng)造了機(jī)會(huì)。(iii) 擴(kuò)大規(guī)模并不是 AI 進(jìn)步的唯一途徑。盡管人們對(duì)處理能力的關(guān)注和炒作如火如荼，但算法創(chuàng)新正在迅速降低培訓(xùn)成本。 大約一周前，中國公司 DeepSeek 發(fā)布了 DeepSeek-R1，這是一個(gè)出色的模型，其基準(zhǔn)測試性能可與 OpenAI 的 o1 相媲美。此外，它是以開放權(quán)重模型的形式發(fā)布的，具有寬松的 MIT 許可證。上周在達(dá)沃斯，我收到了許多非技術(shù)商業(yè)領(lǐng)袖關(guān)于它的問題。周一，股市出現(xiàn)了“DeepSeek 拋售”：Nvidia 和其他一些美國科技公司的股價(jià)暴跌。（截至撰寫本文時(shí)，它們已有所回升。） 我認(rèn)為 DeepSeek 讓很多人意識(shí)到了以下幾點(diǎn)： 中國在生成式人工智能方面正在趕超美國。2022 年 11 月推出 ChatGPT 時(shí)，美國在生成式人工智能方面遠(yuǎn)遠(yuǎn)領(lǐng)先于中國。印象變化很慢，所以最近我聽到美國和中國的朋友都說他們認(rèn)為中國落后了。但實(shí)際上，這種差距在過去兩年里迅速縮小了。借助 Qwen（我的團(tuán)隊(duì)已經(jīng)使用了幾個(gè)月）、Kimi、InternVL 和 DeepSeek 等來自中國的模型，中國顯然正在縮小差距，而在視頻生成等領(lǐng)域，中國似乎已經(jīng)處于領(lǐng)先地位。 我很高興 DeepSeek-R1 以開放權(quán)重模型的形式發(fā)布，其技術(shù)報(bào)告分享了許多細(xì)節(jié)。相比之下，許多美國公司通過大肆宣傳人類滅絕等假設(shè)的人工智能危險(xiǎn)來推動(dòng)監(jiān)管以扼殺開源?，F(xiàn)在很明顯，開源/開放權(quán)重模型是人工智能供應(yīng)鏈的關(guān)鍵部分：許多公司都會(huì)使用它們。如果美國繼續(xù)阻礙開源，中國將主導(dǎo)供應(yīng)鏈的這一部分，許多企業(yè)最終將使用反映中國價(jià)值觀而非美國價(jià)值觀的模型。 開放權(quán)重模型正在將基礎(chǔ)模型層商品化。 正如我之前所寫，LLM 代幣價(jià)格一直在 快速下跌 ，開放權(quán)重助長了這一趨勢，并為開發(fā)人員提供了更多選擇。OpenAI 的 o1 每百萬輸出代幣成本為 60 美元；DeepSeek R1 成本為 2.19 美元。這近 30 倍的差異讓許多人注意到了價(jià)格下跌的趨勢。  訓(xùn)練基礎(chǔ)模型并銷售 API 訪問權(quán)的業(yè)務(wù)很艱難。該領(lǐng)域的許多公司仍在尋找收回模型訓(xùn)練巨額成本的方法。文章“人工智能的 6000 億美元問題”很好地闡述了這一挑戰(zhàn)（但需要明確的是，我認(rèn)為基礎(chǔ)模型公司做得很好，我希望他們能成功）。相比之下，在基礎(chǔ)模型之上構(gòu)建應(yīng)用程序則帶來了許多巨大的商機(jī)。既然其他人已經(jīng)花費(fèi)數(shù)十億美元訓(xùn)練此類模型，您只需花費(fèi)幾美元就可以訪問這些模型，以構(gòu)建客戶服務(wù)聊天機(jī)器人、電子郵件摘要器、AI 醫(yī)生、法律文件助理等等。 擴(kuò)大規(guī)模并不是 AI 進(jìn)步的唯一途徑。 關(guān)于擴(kuò)大模型規(guī)模作為推動(dòng)進(jìn)步的方式，人們大肆炒作。公平地說，我是擴(kuò)大模型規(guī)模的早期 支持者 。許多公司通過制造這樣的謠言籌集了數(shù)十億美元：有了更多的資本，它們就可以 (i) 擴(kuò)大規(guī)模和 (ii) 可預(yù)測地推動(dòng)改進(jìn)。因此，人們非常關(guān)注擴(kuò)大規(guī)模，而不是采取更細(xì)致入微的觀點(diǎn)，充分關(guān)注我們可以取得進(jìn)步的許多不同方式。在一定程度上，在美國 AI 芯片禁運(yùn)的推動(dòng)下，DeepSeek 團(tuán)隊(duì)不得不在許多優(yōu)化方面進(jìn)行創(chuàng)新，以便在性能較差的 H800 GPU 而不是 H100 上運(yùn)行，最終導(dǎo)致模型的訓(xùn)練（不包括研究成本）計(jì)算成本低于 600 萬美元。 這是否真的會(huì)減少對(duì)計(jì)算的需求還有待觀察。有時(shí)，降低每單位商品的價(jià)格可以帶來更多美元用于購買該商品。我認(rèn)為，從長遠(yuǎn)來看，對(duì)智能和計(jì)算的需求幾乎沒有上限，因此我仍然看好人類將使用更多智能，即使智能變得更便宜。 我在社交媒體上看到了很多對(duì) DeepSeek 進(jìn)展的不同解讀，就好像這是一個(gè)羅夏墨跡測試，讓很多人將自己的意義投射到它上面。我認(rèn)為 DeepSeek-R1 具有尚未解決的地緣政治影響。而且它對(duì)人工智能應(yīng)用程序構(gòu)建者來說也很棒。我的團(tuán)隊(duì)已經(jīng)開始集思廣益，這些想法之所以成為可能，只是因?yàn)槲覀兛梢暂p松訪問一個(gè)開放的高級(jí)推理模型?，F(xiàn)在仍然是構(gòu)建的好時(shí)機(jī)！ 繼續(xù)學(xué)習(xí)， 吳恩達(dá) 2025年1月30日 |
|
|
