【原】李彥宏最新內(nèi)部講話，暴露出哪些大模型行業(yè)困境？

TechForWhat 2024-10-24

展開全文

作者 | 由儀

編輯 | 葛覃

行業(yè)對(duì)于大模型的懷疑聲漸起。不止發(fā)生在AI行業(yè)之外，甚至在AI產(chǎn)業(yè)也有一些嚴(yán)肅的擔(dān)憂，大模型會(huì)不會(huì)像上次一樣，數(shù)年喧囂之后淪為一地雞毛。

在更具遠(yuǎn)見的頭腦中，大模型是一場(chǎng)轟轟烈烈又曠日持久的變革，一切充滿未知，也足夠吸引人，即便當(dāng)下有這樣那樣的問題需要解決。

百度是堅(jiān)定的AI革命派，一邊探路一邊踩坑，在最近一次百度內(nèi)部總監(jiān)會(huì)上，百度創(chuàng)始人李彥宏的發(fā)言，道出了當(dāng)前大模型技術(shù)和產(chǎn)業(yè)落地的部分難題。

Scaling Law將不再正確？

目前對(duì) Scaling Law 的質(zhì)疑聲越來越多，但李彥宏認(rèn)為，中國市場(chǎng)環(huán)境中其實(shí)很多有價(jià)值的數(shù)據(jù)還沒有被真正應(yīng)用于訓(xùn)練，比如直播相關(guān)的數(shù)據(jù)和多模態(tài)數(shù)據(jù)。

在他看來，強(qiáng)化學(xué)習(xí)和 Scaling Law 一樣面臨著算力和數(shù)據(jù)的瓶頸，未來更多訓(xùn)練數(shù)據(jù)會(huì)靠合成數(shù)據(jù)來補(bǔ)充，而且是要靠對(duì)技術(shù)或者場(chǎng)景的具體理解來合成。

TechForWhat也觀察到，業(yè)界對(duì)于追逐Scaling Law的積極性在減弱，這是多方因素共同導(dǎo)致的。

首先，邊際效應(yīng)遞減，隨著參數(shù)規(guī)模不斷擴(kuò)大，性能提升的幅度逐漸減小，投入產(chǎn)出比降低，甚至可能因?yàn)檫^擬合等問題導(dǎo)致性能下降。對(duì)于一些特定的任務(wù)或領(lǐng)域，即使遵循Scaling Law增加規(guī)模，也無法達(dá)到理想的效果。

其次，正如李彥宏所言，算力和數(shù)據(jù)的瓶頸，按照Scaling Law規(guī)則，發(fā)展大模型需要大量的計(jì)算資源、數(shù)據(jù)收集和處理，這帶來了巨大的成本。訓(xùn)練一個(gè)超大規(guī)模的語言模型可能需要數(shù)千臺(tái)甚至數(shù)萬臺(tái)高性能服務(wù)器，僅有少數(shù)企業(yè)能承受。

最后是學(xué)術(shù)方面的擔(dān)憂，大模型通常是一個(gè)復(fù)雜的黑盒系統(tǒng)，很難理解其內(nèi)部的決策過程和推理機(jī)制，Scaling Law目前主要是基于經(jīng)驗(yàn)觀察得出的規(guī)律，無法解決模型的可解釋性問題，缺乏嚴(yán)格的理論證明。

中國科學(xué)院院士梅宏此前也表示，不可解釋性不符合人類發(fā)現(xiàn)知識(shí)、發(fā)明技術(shù)的基本邏輯，以Scaling Law為“信仰”的大模型訓(xùn)練，以過度的資源消耗為代價(jià)，難以永續(xù)，必有盡頭。

”科學(xué)家在探索自然的過程中，一直在追求為世界建模，遵循的基本準(zhǔn)則是簡(jiǎn)而美。我們?cè)诤芏囝I(lǐng)域的科學(xué)研究中都在追尋第一性原理（First Principles），這些無不是在闡釋相同的道理。然而，按照Scaling Law產(chǎn)出的結(jié)果，并不符合這個(gè)原則，而且，僅利用大模型通過“黑盒”的方式直接獲得結(jié)果，而不去探索其背后的原理和規(guī)律，不是也不應(yīng)該是科研錨定的目標(biāo)。”梅宏認(rèn)為。

大模型重構(gòu)業(yè)務(wù)不及預(yù)期，智能體還未成為共識(shí)

李彥宏表示，搜索的重構(gòu)進(jìn)度是比較慢的，但是他也理解該業(yè)務(wù)歷史沿革周期較長，員工的觀念難以在短時(shí)間內(nèi)做出調(diào)整和轉(zhuǎn)變。

實(shí)際上，百度搜索所面臨的困難不是個(gè)例，新技術(shù)應(yīng)用于新場(chǎng)景往往較為絲滑，而應(yīng)用于舊有場(chǎng)景則會(huì)遇到多重阻力，在上一個(gè)技術(shù)階段較為完善的核心業(yè)務(wù)，再被新技術(shù)重構(gòu)更難。

對(duì)此，李彥宏的思考是，搜索和大模型的結(jié)合，更多應(yīng)該是在智能體上。在他看來，智能體現(xiàn)在還并不是一個(gè)行業(yè)的共識(shí)，只是百度下的一個(gè)賭注，“我們會(huì)認(rèn)為智能體未來會(huì)是內(nèi)容、服務(wù)、信息的新載體，甚至是主要的載體?！?/span>

比如搜索作為一個(gè)主要通道，百度上有幾十萬家廣告主，上萬家在嘗試接入商業(yè)智能體，讓廣告效果更好、轉(zhuǎn)化率更好，然后更好地去觸達(dá)和溝通目標(biāo)客戶，這些客戶愿意用真金白銀付費(fèi)。

對(duì)于智能體的發(fā)展趨勢(shì)，李彥宏判斷，隨著基礎(chǔ)模型越來越強(qiáng)大，智能體的門檻會(huì)越來越低；但與此同時(shí)，智能體也可以把天花板拉得非常高，因?yàn)橹悄荏w的自我反思、進(jìn)化、工具的使用等技術(shù)，都還非常早期，以及多智能體的群體協(xié)作，目前在產(chǎn)業(yè)上還沒有看到實(shí)際的落地。

“今天世界上大部分方法論，其實(shí)還沒有被數(shù)字化。" 他還提到，智能體上下文的語境中有個(gè)很重要的概念，叫“工作流”。工作流簡(jiǎn)單來講就是”套路“，如果能把套路拆解清楚，那它就成了工作流，未來 AI 和機(jī)器就能把它自動(dòng)化。

此外，結(jié)合其他行業(yè)來看，大模型重構(gòu)業(yè)務(wù)不及預(yù)期由復(fù)雜原因造就，技術(shù)的成熟度和穩(wěn)定性不足，業(yè)務(wù)需求和大模型的能力之間可能存在差距等，以及企業(yè)組織和文化的變革，這一過程可能會(huì)比較緩慢和困難。

智能云的標(biāo)準(zhǔn)化與定制化

大模型喧囂一年余，玩家開始收斂。全球范圍內(nèi)亞馬遜、微軟和谷歌，國內(nèi)百度、阿里、華為、騰訊等，這些廠商的共同特點(diǎn)是大模型加公有云的組合，即智能云占據(jù)大模型行業(yè)主要聲量。

云計(jì)算規(guī)模的擴(kuò)大繞不過大項(xiàng)目，此前定制化也一度拖累了巨頭云廠商，百度是堅(jiān)定的標(biāo)準(zhǔn)化派。李彥宏認(rèn)為，ToB 業(yè)務(wù)一定要標(biāo)品化，項(xiàng)目制有很多需求，需要派很多駐場(chǎng)人員，要有很多的后臺(tái)研發(fā)改造。

他提到，像Comate（大模型代碼編程助手）這樣的標(biāo)準(zhǔn)化產(chǎn)品，現(xiàn)在還賣不了多少錢，不夠有競(jìng)爭(zhēng)力，這種產(chǎn)品的起點(diǎn)比較低也是可以包容的，因?yàn)橹灰掷m(xù)的投入，把它的門檻提高，拉大跟競(jìng)品的差距，未來還是一個(gè)好的方向。