XiaodaBlogSource/source/_posts/大模型.md

title, date, tags

title	date	tags
大模型	2025-02-18 10:06:57

Ollama

1. 安装

首先需要下载并安装Ollama，这是运行模型的基础环境。

2. 下载模型

打开命令行终端，根据需要运行以下命令之一来下载对应版本的模型：

以DeepSeek为例：

7B 版本（推荐显存 8G）:

ollama pull deepseek-coder:7b

8B 版本（推荐显存 8G）:

ollama run huihui_ai/deepseek-r1-abliterated:8b

14B 版本（推荐显存 12G）:

ollama run huihui_ai/deepseek-r1-abliterated:14b

32B 版本（推荐显存 32G）:

ollama run huihui_ai/deepseek-r1-abliterated:32b

70B 版本（需要高端显卡支持）:

ollama run huihui_ai/deepseek-r1-abliterated:70b

3. Ollama 常用命令

在使用 Ollama 时，以下是一些常用的命令操作：

# 启动 Ollama 服务
ollama serve

# 从 Modelfile 创建模型
ollama create <模型名称>

# 显示模型信息
ollama show <模型名称>

# 运行模型
ollama run <模型名称>

# 停止运行中的模型
ollama stop <模型名称>

# 从仓库拉取模型
ollama pull <模型名称>

# 推送模型到仓库
ollama push <模型名称>

# 列出所有已安装的模型
ollama list

# 列出正在运行的模型
ollama ps

# 复制模型
ollama cp <源模型> <目标模型>

# 删除模型
ollama rm <模型名称>

4. Ollama模型存储目录

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\%username%\.ollama\models

如何将它们设置为不同的位置？

如果需要使用不同的目录，可以将环境变量 OLLAMA_MODELS 设置为你选择的目录。

注意：在 Linux 上使用标准安装程序时，ollama 用户需要对指定目录有读写权限。要将目录分配给 ollama 用户，请运行 sudo chown -R ollama:ollama <directory>.

请参考上面的部分了解如何在你的平台上设置环境变量。