|
今天我們繼續(xù)。 話接上文,如何使用上穩(wěn)定可靠不繁忙、不跑路、不卡頓、不截斷的 話不多說,直接開整,集合! 第1步:安裝 Ollama
![]() 本地部署推薦使用開源工具Ollama,對小白極其友好——既提供命令行界面,又提供圖形界面,讓你能夠方便地管理和使用本地的AI模型。 打開上面那個Ollama官網(wǎng),點擊 接下來的操作以macOS為例。 雙擊打開Ollama客戶端安裝包,點擊 ![]() 點擊 ![]() 點擊 ![]() 不放心的小伙伴可以雙重驗證一下Ollama是不是真正安裝完成了。打開 # 驗證安裝第2步:下載 DeepSeek-R1 模型有了Ollama,就可以通過Ollama方便地下載 ![]() 參數(shù)量越大,代表模型推理能力越強,滿血版的 同時,每個參數(shù)量的模型所需的計算資源也各不相同,這里我總結(jié)了一份這7個模型各自所需的配置,供參考。其中, ![]() 打開 下載進度顯示100%即完成,1.5B模型大小約1.1GB,7B模型大約4.7GB,8B為4.9GB。因為下載速度受限,我這里以1.5B模型為例。 ![]() 安裝完成后會自動進入模型會話模式,意味著你已經(jīng)可以開始和你的專屬模型聊天了! 比如下面這樣。
![]() 其實到這里,整個本地部署的過程就已經(jīng)完成了,是不是超級簡單,有手就行! 但這還只是第2步,接下來還有第3步。為什么?因為圖形界面!總不能讓小伙伴們一直在終端里使用 第3步:在Chatbox里使用本地部署的模型
![]() 之前在《DeepSeek R1 個人知識庫,直接起飛!》介紹過了第三方客戶端Cherry Studio,今天趁著這個機會介紹另一款也很好用的客戶端:Chatbox。 相比Cherry Studio,Chatbox支持的客戶端類型更多更全,從桌面客戶端到手機app,都支持。按照上面的Chatbox官網(wǎng)鏈接下載安裝即可。 接下來重點講怎么把部署在本地電腦上的 打開Chatbox,點擊左下角的 ![]() 設置好,就可以和你自己部署的模型聊起來了! ![]() 寫在最后小參數(shù)模型的優(yōu)勢是需要的算力資源小,便于本地部署使用;但隨之而來的是推理能力的“驟降”。比如下面這樣。 ![]() 再嘗試一次,雖然能回答了,但答案屬實很離譜。 ![]() 寫文章的過程中,我又下載安裝了一個7B版本的 ![]() 所以,如果想要進行比較復雜的任務,比如科研、數(shù)學、代碼等等,還是去尋求滿血版 如果只是進行一些普通任務,或者對數(shù)據(jù)隱私和數(shù)據(jù)安全有很高的要求,那么毫無疑問,本地部署更合適。
|
|
|