安裝

1、雙擊下載好的安裝文件，OllamaSetup.exe。

2、安裝好以后它會自動運行，在任務(wù)欄我們可以看到：

我們打開命令行，執(zhí)行以下命令安裝相應的模型，顯存4G以下的，我們選1.5B的（我的電腦顯存只有2G）。

1.5B Qwen DeepSeek R1

ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1

ollama run deepseek-r1:7b

8B Llama DeepSeek R1

ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

ollama run deepseek-r1:32b

70B Llama DeepSeek R1

ollama run deepseek-r1:70b

等待拉取模型成功

使用

1、在命令行直接輸入對話：

2、關(guān)閉對話后，如果要重新運行，同樣地，我們輸入以下命令，不過，這次它不會再去拉取模型了：

ollama run deepseek-r1:1.5b

3、在瀏覽器中運行，點擊插件，選擇模型：

我們點擊右邊的“設(shè)置”，選擇RAG設(shè)置，選擇文本嵌入模型，其他的暫時不動，記得保存：

我們試一下，問一個推理問題：昨天的明天是哪天？

回答正確，速度也很快！不過有點遺憾的是，我再問它同樣的問題的時候，它就回答錯了。可能是參數(shù)較小的關(guān)系，我在它官方網(wǎng)站上連續(xù)兩次提問：

“昨天的今天是哪天？

它都準確地回答是“今天”。

寫在最后

1、本地部署成功，但是運行速度有時候有點卡，這跟電腦配置有關(guān)系。

2、除非是沒有任何網(wǎng)絡(luò)，我覺得本地模型的意義不是很大，一則電腦硬件實在有限，運行速度慢，二則模型的參數(shù)量太小，精度不高，功能有限。我后來又下載了一個7B的模型，運行速度就慢得很，差點死機。

3、如果把數(shù)據(jù)安全保密放在第一位的，我們選擇本地模型沒毛病，特別是要使用專門的知識庫進行訓練的。這時候我們應該考慮提升電腦硬件配置啦。

今天就到這里，我們下期再會！