245 lines
6.1 KiB
Markdown
245 lines
6.1 KiB
Markdown
---
|
||
title: 大模型
|
||
date: 2025-02-18 10:06:57
|
||
tags:
|
||
---
|
||
|
||
# Ollama
|
||
|
||
## 1. 安装
|
||
|
||
首先需要下载并安装Ollama，这是运行模型的基础环境。
|
||
|
||
|
||
|
||
|
||
|
||
## 2. 下载模型
|
||
|
||
打开命令行终端，根据需要运行以下命令之一来下载对应版本的模型：
|
||
|
||
|
||
|
||
以DeepSeek为例：
|
||
|
||
7B 版本（推荐显存 8G）:
|
||
|
||
```bash
|
||
ollama pull deepseek-coder:7b
|
||
```
|
||
|
||
8B 版本（推荐显存 8G）:
|
||
|
||
```bash
|
||
ollama run huihui_ai/deepseek-r1-abliterated:8b
|
||
```
|
||
|
||
14B 版本（推荐显存 12G）:
|
||
|
||
```BASH
|
||
ollama run huihui_ai/deepseek-r1-abliterated:14b
|
||
```
|
||
|
||
32B 版本（推荐显存 32G）:
|
||
|
||
```bash
|
||
ollama run huihui_ai/deepseek-r1-abliterated:32b
|
||
```
|
||
|
||
70B 版本（需要高端显卡支持）:
|
||
|
||
```bash
|
||
ollama run huihui_ai/deepseek-r1-abliterated:70b
|
||
```
|
||
|
||
## 3. Ollama 常用命令
|
||
|
||
在使用 Ollama 时，以下是一些常用的命令操作：
|
||
|
||
```bash
|
||
# 启动 Ollama 服务
|
||
ollama serve
|
||
|
||
# 从 Modelfile 创建模型
|
||
ollama create <模型名称>
|
||
|
||
# 显示模型信息
|
||
ollama show <模型名称>
|
||
|
||
# 运行模型
|
||
ollama run <模型名称>
|
||
|
||
# 停止运行中的模型
|
||
ollama stop <模型名称>
|
||
|
||
# 从仓库拉取模型
|
||
ollama pull <模型名称>
|
||
|
||
# 推送模型到仓库
|
||
ollama push <模型名称>
|
||
|
||
# 列出所有已安装的模型
|
||
ollama list
|
||
|
||
# 列出正在运行的模型
|
||
ollama ps
|
||
|
||
# 复制模型
|
||
ollama cp <源模型> <目标模型>
|
||
|
||
# 删除模型
|
||
ollama rm <模型名称>
|
||
|
||
# 显示模型文件
|
||
ollama show --modelfile <模型名称>
|
||
```
|
||
|
||
## 4. Ollama模型存储目录
|
||
|
||
- macOS: `~/.ollama/models`
|
||
- Linux: `/usr/share/ollama/.ollama/models`
|
||
- Windows: `C:\Users\%username%\.ollama\models`
|
||
|
||
### 如何将它们设置为不同的位置？
|
||
|
||
如果需要使用不同的目录，可以将环境变量 `OLLAMA_MODELS` 设置为你选择的目录。
|
||
|
||
> 注意：在 Linux 上使用标准安装程序时，`ollama` 用户需要对指定目录有读写权限。要将目录分配给 `ollama` 用户，请运行 `sudo chown -R ollama:ollama <directory>`.
|
||
|
||
请参考[上面的部分](https://ollama.readthedocs.io/faq/#how-do-i-configure-ollama-server)了解如何在你的平台上设置环境变量。
|
||
|
||
|
||
|
||
## 5. WSL中Ollama使用Windows中的
|
||
|
||
```shell
|
||
# 编辑环境变量
|
||
vim /etc/profile
|
||
|
||
# 文件末尾添加
|
||
export PATH="$PATH:/mnt/c/Program Files/Ollama"
|
||
alias ollama='ollama.exe'
|
||
```
|
||
|
||
# nvidia-smi
|
||
|
||
> nvidia-smi是nvidia 的系统管理界面 ，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。
|
||
|
||
## nvidia-smi
|
||
|
||
```shell
|
||
nvidia-smi
|
||
|
||
+-----------------------------------------------------------------------------------------+
|
||
| NVIDIA-SMI 570.86.09 Driver Version: 571.96 CUDA Version: 12.8 |
|
||
|-----------------------------------------+------------------------+----------------------+
|
||
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
|
||
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
|
||
| | | MIG M. |
|
||
|=========================================+========================+======================|
|
||
| 0 NVIDIA RTX 4000 Ada Gene... On | 00000000:01:00.0 Off | Off |
|
||
| N/A 50C P8 7W / 85W | 4970MiB / 12282MiB | 0% Default |
|
||
| | | N/A |
|
||
+-----------------------------------------+------------------------+----------------------+
|
||
|
||
+-----------------------------------------------------------------------------------------+
|
||
| Processes: |
|
||
| GPU GI CI PID Type Process name GPU Memory |
|
||
| ID ID Usage |
|
||
|=========================================================================================|
|
||
| 0 N/A N/A 16221 C /python3.12 N/A |
|
||
+-----------------------------------------------------------------------------------------+
|
||
|
||
```
|
||
|
||
解释相关参数含义：
|
||
|
||
GPU：本机中的GPU编号
|
||
|
||
Name：GPU 类型
|
||
|
||
Persistence-M：
|
||
|
||
Fan：风扇转速
|
||
|
||
Temp：温度，单位摄氏度
|
||
|
||
Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能
|
||
|
||
Pwr:Usage/Cap：能耗表示
|
||
|
||
Bus-Id：涉及GPU总线的相关信息；
|
||
|
||
Disp.A：Display Active，表示GPU的显示是否初始化
|
||
|
||
Memory-Usage：显存使用率
|
||
|
||
Volatile GPU-Util：浮动的GPU利用率
|
||
|
||
Uncorr. ECC：关于ECC的东西
|
||
|
||
Compute M.：计算模式
|
||
|
||
Processes 显示每块GPU上每个进程所使用的显存情况。
|
||
|
||
### 持续监控
|
||
|
||
```shell
|
||
# 使用 watch 命令，它可以定时执行指定的命令并刷新输出。例如，每隔 1 秒刷新一次 GPU 状态，可以使用以下命令
|
||
watch -n 1 nvidia-smi
|
||
```
|
||
|
||
## nvidia-smi -L
|
||
|
||
```shell
|
||
# 列出所有可用的 NVIDIA 设备
|
||
nvidia-smi -L
|
||
GPU 0: NVIDIA RTX 4000 Ada Generation Laptop GPU (UUID: GPU-9856f99a-c32c-fe63-b2ad-7bdee2b12291)
|
||
```
|
||
|
||
# ModelScope
|
||
|
||
## 模型下载
|
||
|
||
### 安装
|
||
|
||
```shell
|
||
pip install modelscope
|
||
```
|
||
|
||
### 命令行下载
|
||
|
||
```shell
|
||
# 下载完整模型库
|
||
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
|
||
# 下载单个文件到指定本地文件夹（以下载README.md到当前路径下“dir”目录为例）
|
||
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B README.md --local_dir ./dir
|
||
```
|
||
|
||
# Anaconda
|
||
|
||
>
|
||
|
||
|
||
|
||
# Jupyter Notebook
|
||
|
||
>
|
||
|
||
## 安装
|
||
|
||
```shell
|
||
pip install jupyter
|
||
```
|
||
|
||
## 运行
|
||
|
||
```shell
|
||
jupyter notebook
|
||
# 若是root用户执行，会出现警告 Running as root is not recommended. Use --allow-root to bypass. 需在后面加上 --allow-root
|
||
jupyter notebook --allow-root
|
||
```
|
||
|
||
# UnSloth
|
||
|