【新智元導(dǎo)讀】Stability AI也有大語(yǔ)言模型了，現(xiàn)在已有3B和7B的版本。大語(yǔ)言模型的Stable Diffusion時(shí)刻，是真來(lái)了。大語(yǔ)言模型之戰(zhàn)，Stability AI也下場(chǎng)了。近日， Stability AI宣布推出他們的第一個(gè)大語(yǔ)言模型——StableLM。劃重點(diǎn)：它是開源的，在GitHub上已經(jīng)可用。模型從3B和7B參數(shù)開始，隨后會(huì)有15B到65B的版本。并且， Stability AI還發(fā)布了用于研究的RLHF微調(diào)模型。
項(xiàng)目地址：https://github.com/Stability-AI/StableLM/雖然OpenAI不open，但開源的社區(qū)已經(jīng)百花齊放了。以前我們有Open Assistant、Dolly 2.0，現(xiàn)在，我們又有了StableLM。現(xiàn)在，我們可以在Hugging Face上試試StableLM微調(diào)聊天模型的demo。具體StableLM能做到什么程度，一看便知。比如，你可以問(wèn)它如何制作花生醬三明治時(shí)，它會(huì)給你一個(gè)復(fù)雜、略顯荒謬的食譜。或者寫一首神經(jīng)網(wǎng)絡(luò)與符號(hào)人工智能的史詩(shī)級(jí)說(shuō)唱對(duì)決：再或者寫一封「吉祥話郵件」（文本生成）： 以及，用C語(yǔ)言計(jì)算生命的意義（代碼生成）： 不過(guò)，有國(guó)外的媒體記者親測(cè)了一下StableLM，結(jié)果發(fā)現(xiàn)：在一本正經(jīng)地胡說(shuō)八道這方面，它跟前輩ChatGPT比起來(lái)，也是不遑多讓。比如，如果問(wèn)它2021年1月6日那天發(fā)生了什么？它會(huì)告訴你：特朗普的支持者控制了立法機(jī)關(guān)。如果Stable LM預(yù)期的主要用途并不是文本生成，那它可以做什么呢？如果拿這個(gè)問(wèn)題親自問(wèn)它，它會(huì)說(shuō)出這樣一些套話，「它主要用作系統(tǒng)工程和體系結(jié)構(gòu)中的決策支持系統(tǒng)，也可以用于統(tǒng)計(jì)學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等領(lǐng)域?！?/span>另外，Stable LM顯然缺乏對(duì)某些敏感內(nèi)容的保護(hù)。比如，給它進(jìn)行一下著名的「不要贊美希特勒」測(cè)試，它的回答也是令人大跌眼鏡。不過(guò)，咱們倒是不急著管它叫「有史以來(lái)最糟糕的語(yǔ)言模型」，畢竟它是開源的，因此這個(gè)黑匣子AI允許任何人窺視盒子內(nèi)部，查一查到底是哪些潛在原因?qū)е铝诉@個(gè)問(wèn)題。
Stability AI官方聲稱：Alpha版本的StableLM有30億和70億個(gè)參數(shù)，之后還有150億到650億參數(shù)的后續(xù)版本。StabilityAI還豪橫地表示，開發(fā)者隨便用。只要遵守相關(guān)條款，不管是檢查、應(yīng)用還是改編基礎(chǔ)模型，想怎么來(lái)怎么來(lái)。StableLM功能強(qiáng)大，不光可以生成文本和代碼，還能給下游應(yīng)用提供技術(shù)基礎(chǔ)。它是一個(gè)很好的范例，展示了小型、高效的模型通過(guò)適當(dāng)訓(xùn)練就可以有足夠高的性能。早年間，Stability AI和非營(yíng)利性研究中心Eleuther AI一起開發(fā)過(guò)早期的語(yǔ)言模型，可以說(shuō)，Stability AI積淀很深。像什么GPT-J、GPT-NeoX和Pythia，這都是兩家公司合作訓(xùn)練的產(chǎn)物，在The Pile開源數(shù)據(jù)集上訓(xùn)練完成。而后續(xù)的更多開源模型，比如Cerebras-GPT和Dolly-2都是上面三兄弟的后續(xù)產(chǎn)品。說(shuō)回StableLM，它是在建立在The Pile基礎(chǔ)上的新數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集包含1.5萬(wàn)億個(gè)token，大約是The Pile的3倍。模型的上下文長(zhǎng)度為4096個(gè)token。在即將發(fā)布的技術(shù)報(bào)告中，Stability AI會(huì)公布模型的規(guī)模和訓(xùn)練設(shè)置。作為概念驗(yàn)證，團(tuán)隊(duì)用斯坦福大學(xué)的Alpaca對(duì)模型進(jìn)行了微調(diào)，并使用了最近的五個(gè)對(duì)話代理的數(shù)據(jù)集的組合：斯坦福大學(xué)的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K數(shù)據(jù)集、Databricks labs的Dolly和Anthropic的HH。這些模型將作為StableLM-Tuned-Alpha發(fā)布。當(dāng)然，這些微調(diào)過(guò)的模型僅僅用于研究，屬于非商業(yè)性質(zhì)。后續(xù)，Stability AI還將會(huì)公布新數(shù)據(jù)集的更多細(xì)節(jié)。其中，新數(shù)據(jù)集十分豐富，這也是為什么StableLM的性能很棒。雖說(shuō)參數(shù)規(guī)模目前來(lái)看還是有點(diǎn)?。ê虶PT-3 1750億個(gè)參數(shù)相比是這樣的）。Stability AI表示，語(yǔ)言模型是數(shù)字時(shí)代的核心，我們希望每個(gè)人都能在語(yǔ)言模型中有發(fā)言權(quán)。而StableLM的透明性。可訪問(wèn)性、支持性等特點(diǎn)也是踐行了這個(gè)觀念。體現(xiàn)透明性最好的方式就是開源。開發(fā)者可以深入到模型內(nèi)部，驗(yàn)證性能、識(shí)別風(fēng)險(xiǎn)，并且一同開發(fā)一些保護(hù)措施。有需要的公司或部門還可以就著自己的需求對(duì)該模型進(jìn)行調(diào)整。日常用戶可以隨時(shí)隨地在本地設(shè)備上運(yùn)行該模型。開發(fā)人員可以應(yīng)用模型來(lái)創(chuàng)建并使用硬件兼容的獨(dú)立應(yīng)用程序。這樣一來(lái)，AI所帶來(lái)的經(jīng)濟(jì)利益就不會(huì)被某幾個(gè)企業(yè)瓜分，紅利屬于所有日常用戶和開發(fā)者社群。Stability AI建立模型支持用戶們，而不是取代。換句話說(shuō)，開發(fā)出來(lái)便捷好用的AI是為了幫助人們更高效地處理工作，提供人們的創(chuàng)造力、生產(chǎn)力。而非試圖開發(fā)一個(gè)天下無(wú)敵的東西取代一切。Stability AI表示，目前這些模型已經(jīng)在GitHub公布，未來(lái)還會(huì)有完整的技術(shù)報(bào)告問(wèn)世。Stability AI期待和廣泛的開發(fā)者和研究人員進(jìn)行合作。同時(shí)，他們還表示將啟動(dòng)眾包RLHF計(jì)劃，開放助手合作，為AI助手創(chuàng)建一個(gè)開源的數(shù)據(jù)集。Stability AI這個(gè)名字，對(duì)我們來(lái)說(shuō)已經(jīng)是如雷貫耳了。它正是大名鼎鼎的圖像生成模型Stable Diffusion背后的公司。如今，隨著StableLM的推出，可以說(shuō)Stability AI在用AI造福所有人的路上越走越遠(yuǎn)了。畢竟，開源一向是他們的優(yōu)良傳統(tǒng)。在2022年，Stability AI提供了多種方式讓大家使用Stable Diffusion，包括公開demo、軟件測(cè)試版和模型的完整下載，開發(fā)人員可以隨意使用模型，進(jìn)行各種集成。作為一個(gè)革命性的圖像模型，Stable Diffusion代表著一個(gè)透明、開放和可擴(kuò)展的專有AI替代方案。顯然，Stable Diffusion讓大家看到了開源的各種好處，當(dāng)然也會(huì)有一些無(wú)法避免的壞處，但這無(wú)疑是一個(gè)有意義的歷史節(jié)點(diǎn)。（上個(gè)月，Meta的開源模型LLaMA的一場(chǎng)「史詩(shī)級(jí)」泄漏，產(chǎn)生了一系列表現(xiàn)驚艷的ChatGPT「平替」，羊駝家族像宇宙大爆炸一樣噌噌地誕生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）不過(guò)，Stability AI也警告說(shuō)，雖然它使用的數(shù)據(jù)集應(yīng)該有助于「將基本的語(yǔ)言模型引導(dǎo)至更安全的文本分布中，但并不是所有的偏見和毒性都可以通過(guò)微調(diào)來(lái)減輕?！?/span>這些天，我們見證了開源文本生成模型井噴式的增長(zhǎng)，因?yàn)榇蟠笮⌒〉墓径及l(fā)現(xiàn)了：在越來(lái)越有利可圖的生成式AI領(lǐng)域，出名要趁早。過(guò)去一年里，Meta、Nvidia和像 Hugging Face支持的BigScience項(xiàng)目這樣的獨(dú)立團(tuán)體，都發(fā)布了與GPT-4和Anthropic的Claude這些「私有」API模型的平替。很多研究者嚴(yán)厲地批評(píng)了這些跟StableLM類似的開源模型，因?yàn)榭赡軙?huì)有不法分子別有用心地利用它們，比如創(chuàng)建釣魚郵件，或者協(xié)助惡意軟件攻擊。但Stablity AI堅(jiān)持認(rèn)為：開源就是最正確的路。Stability AI強(qiáng)調(diào)，「我們把模型開源，是為了提高透明度和培養(yǎng)信任。研究人員可以深入了解這些模型，驗(yàn)證它們的性能、研究可解釋性技術(shù)、識(shí)別潛在風(fēng)險(xiǎn)，并協(xié)助制定保護(hù)措施。」「對(duì)我們模型的開放、細(xì)粒度訪問(wèn)，允許廣大的研究和學(xué)術(shù)界人士，開發(fā)出超越封閉模型的可解釋性和安全技術(shù)?！?/span>Stablity AI的說(shuō)法確實(shí)有道理。就算是GPT-4這樣具有過(guò)濾器和人工審核團(tuán)隊(duì)的業(yè)內(nèi)頂尖模型，也無(wú)法避免毒性。并且，開源模型顯然需要更多的努力來(lái)調(diào)整、修復(fù)后端——特別是如果開發(fā)人員沒有跟上最新的更新的話。其實(shí)追溯歷史，Stability AI從來(lái)沒有回避過(guò)爭(zhēng)議。前一陣，它就處于侵權(quán)法律案件的風(fēng)口浪尖，有人指控它使用網(wǎng)絡(luò)抓取的受版權(quán)保護(hù)的圖像，開發(fā)AI繪圖工具，侵犯了數(shù)百萬(wàn)藝術(shù)家的權(quán)利。另外，已經(jīng)有別有用心的人，利用Stability的AI工具，來(lái)生成許多名人的深度偽造色情圖片，和充滿暴力的圖片。盡管Stability AI在博文中，強(qiáng)調(diào)了自己的慈善基調(diào)，但Stability AI也面臨著商業(yè)化的壓力，無(wú)論是藝術(shù)、動(dòng)畫、生物醫(yī)學(xué)，還是生成音頻領(lǐng)域。Stability AI CEO Emad Mostaque已經(jīng)暗示了要上市的計(jì)劃，Stability AI去年估值超過(guò)了10億美元，并且獲得了超過(guò)1億美元的風(fēng)投。不過(guò)，據(jù)外媒Semafor報(bào)道，Stability AI「正在燒錢，但在掙錢方面進(jìn)展緩慢。」https://www./2023/4/19/23689883/stability-ai-open-source-large-language-model-stablelmhttps:///article/stablelm-stability-ai-language-model-explainedhttps:///blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
|
