1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

deepseek-r1本地安装教程(超详细)

1987web2025-02-23人工智能AI5
本地安装deepseek-r1模型1首先下载ollama

本地安装deepseek-r1模型

1 首先下载ollama

打开网址:https://ollama/(注意前面有没有www),无需魔法工具。

点击Download

选择你电脑对应的版本:

下载之后安装,安装成功后,会出现这样的ollama标志:

或者用cmd命令,打开终端,输入:

ollama --version

终端响应命令,出现版本号,则说明ollama已经安装成功,并且运行。

ollama version is 0.5.7

2 下载deepseek-r1:1.5b

在ollama官网上点击Models

看看有哪些模型:

点击deepseek-r1,具体看看细节。

ollama run deepseek-r1,命令,默认安装7b模型。

我们要根据自己电脑配置来选择模型,模型越小,跑得越快。我的显卡不够,但是我的内存有40G,我决定用我的内存来跑。一般的,空闲的内存是模型大小的两倍,才能跑起这个模型,比如7b模型,大小是4.7G,那么你空闲的内存要大于10G才行(我发现它的模型大小,比huggingface的模型要小得多,huggingface上的7b模型,大小约是14G)。

我们先从最简单的模型开始下载,在终端输入:

ollama pull deepseek-r1:1.5b

就会开始下载deepseek-r1:1.5b模型(说明:无需科学上网,在huggingface上下载模型,还需要科学上网),我的下载速度约为2-10M/s。

下载成功后,我们进行验证,在终端输入:

ollama list

出现已安装的模型的列表,说明安装成功:

NAME ID SIZE MODIFIED

deepseek-r1:1.5b a42b25d8c10a 1.1 GB 11 seconds ago

3 试用deepseek-r1

在终端运行:

ollama run deepseek-r1:1.5b

然后就可以跟她对话了:

开始,我发现不能显示思考部分,于是就加了--verbose显示中间过程。

ollama run deepseek-r1:1.5b --verbose

以下是终端的一些简单用法,更详细的教程可参考ollama的教程。

1)/? 获得帮助

2)/? set 获得set子命令的帮助

3)/clear 清除历史会话

4)/bye 退出模型,回到cmd命令

5)/show 显示模型细节

4 更改模型的目录

默认模型的文件存储在:

C:\Users\Administrator\.ollama\models

具体到个人,路径可能稍有不同。

我们查看models文件夹大小,约为1G,说明deepseek-r1:1.5b确实存在这。

我们将models下面的两个子文件夹剪切到想要更改模型的目录:

D:\Ollama\Models(可以自定义)

这时,再次依照3来运行大模型,发现会出错。

我们通过更改环境变量,来改变ollama模型的文件存储位置。

点击windows窗口图标,搜索环境变量:

点击编辑系统环境变量:

再点击下方的环境变量:

在系统变量的下方点击新建,输入变量名和变量值(变量值就是之前设定的目录):

点击确定,设定完环境变量后,重启电脑,再次进行3来运行大模型,如果能够正常运行大模型,说明ollama模型默认存储位置更改成功。

5 各种模型运行时的比较

这里着重比较其运行速度。

分别下载了1.5b、7b、32b大模型:

首先运行1.5b的大模型:

ollama run deepseek-r1:1.5b --verbose

装载之后,内存增加5%(我是40G的内存)

然后问同样的问题:你好,请详细介绍什么是人工智能?

我们看到速度可以达到29.08 tokens/s

运行7b的大模型:

ollama run deepseek-r1:7b --verbose

装载之后,内存增加14%(我是40G的内存)

然后问同样的问题:你好,请详细介绍什么是人工智能?

我们看到速度可以达到5.02 tokens/s,这速度勉强还能接受。

运行32b的大模型:

ollama run deepseek-r1:32b --verbose

装载之后,内存增加48%(我是40G的内存)

然后问同样的问题:你好,请详细介绍什么是人工智能?

我们看到速度可以达到1.26 tokens/s,这速度有点慢,但是也值得的,毕竟我的笔记本电脑运行了堪比ChatGPT o1-mini的大模型。

6 总结

用ollama下载大模型与用huggingface下载,主要区别有:

1)huggingface下载需要科学上网,而ollama不需要。

2)同样规格的模型,ollama下载的比huggingface要小3-4倍(有哪位好心人知道原因,科普一下)。

3)同样规格的模型,ollama推理运行速度比huggingface要快3-4倍。

接下来的研究方向:

1)使用Web UI,搭建本地知识库问答。

2)使用ollama的API,实现自已的应用程序。

3)结合LangChain,实现各种功能的智能体。