提交大模型及Docker相关

source/_posts/Docker.md

@@ -1358,3 +1358,25 @@ minio/minio server \
 
 ```
 
+## Docker 安装 Tomcat 9
+
+```shell
+docker run -d -p 8080:8080 --name tomcat9 \
+-v /usr/local/docker/tomcat9/webapps:/usr/local/tomcat/webapps \
+-v /usr/local/docker/tomcat9/logs/:/usr/local/tomcat/logs \
+tomcat:9.0.41-jdk8-corretto
+```
+
+### Tomcat默认文档查看
+
+进入容器
+
+```shell
+docker exec -it tomcat9 /bin/bash
+
+cd /usr/local/tomcat/
+ls
+cp -r ./webapps.dist/* ./webapps
+exit
+```
+

source/_posts/大模型.md

@@ -244,6 +244,59 @@ modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B README.md --
 
 > 
 
+## 常用命令
+
+### 管理环境
+
+1. 列出所有的环境
+   ```shell
+   conda env list
+   ```
+
+   
+
+2. 查看conda下的包
+   ```she
+   conda list
+   ```
+
+3. 创建环境
+   ```shell
+   conda create -n env-name [list of package]
+   ```
+
+   -n env-name 是设置新建环境的名字，list of package 是可选项，选择要为该环境安装的包
+   如果我们没有指定安装python的版本，conda会安装我们最初安装conda所装的那个版本的python
+   若创建特定python版本的包环境，需键入
+
+   ```shell
+   conda create -n env-name python=3.6
+
+4. 激活环境
+   ```shell
+   conda activate env-name
+   ```
+
+   切换到base环境
+   ```shell
+   conda activate base
+   ```
+
+5. 删除环境
+   执行以下命令可以将该指定虚拟环境及其中所安装的包都删除。
+
+   ```shell
+   conda remove --name env_name --all
+   ```
+
+   如果只删除虚拟环境中的某个或者某些包则是：
+   ```shell
+   conda remove --name env_name  package_name
+   ```
+
+   
+
+
 ## 问题
 
 1. conda激活[虚拟环境](https://so.csdn.net/so/search?q=虚拟环境&spm=1001.2101.3001.7020)，只显示环境名称，不再显示用户名和当前文件夹
@@ -292,6 +345,31 @@ jupyter notebook --allow-root
 
 # UnSloth
 
+# vLLM
+
+## 安装
+
+```shell
+conda create -n vLLM python=3.12
+conda activate vLLM
+pip install vLLM
+```
+
+## 部署
+
+### deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
+
+```shell
+CUDA_VISIBLE_DEVICES=0 vllm serve /mnt/e/modelscope/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --port 8102 --max-model-len 2048 --api-key token-abc123
+```
+
+- CUDA_VISIBLE_DEVICES=0: 指定使用的 GPU 设备 ID。 0 表示使用第一块 GPU。如果您有多块 GPU，可以根据需要修改为其他 ID (例如 CUDA_VISIBLE_DEVICES=1,2 使用 GPU 1 和 GPU 2)。如果您只有一块 GPU，通常使用 0 即可。
+- `/mnt/e/modelscope/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B`: **模型路径。** 请替换为您在步骤 2 中模型实际保存的路径。
+- `--port 8102`: **服务端口号。** `8102` 是服务启动后监听的端口。您可以根据需要修改端口号，例如 `--port 8000`。在后续代码调用中，需要使用相同的端口号。
+- --max-model-len 16384: 模型最大上下文长度。 16384 表示模型处理的最大输入序列长度。您可以根据您的 GPU 显存大小和需求调整此参数。对于 /mnt/e/modelscope/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 模型，16384 是一个较大的上下文长度。您可以尝试减小此值以减少显存占用，例如 --max-model-len 2048 或更小。
+- **执行启动命令:** 在终端或命令提示符中执行上述 `vllm serve` 命令。
+- **注意 GPU 显存:** 启动 vLLM 服务会占用 GPU 显存。请确保您的 GPU 显存足够运行模型。如果显存不足，可能会导致启动失败或运行缓慢。您可以尝试减小 `--max-model-len` 参数或使用更小规模的模型。
+
 # LLama.cpp
 
 > `llama.cpp`是一个基于纯`C/C++`实现的高性能大语言模型推理引擎，专为优化本地及云端部署而设计。其核心目标在于通过底层硬件加速和量化技术，实现在多样化硬件平台上的高效推理，同时保持低资源占用与易用性。