36 lines
738 B
Markdown
36 lines
738 B
Markdown
## 简介
|
||
|
||
本来想直接在docker里面跑 vllm ,但是 mac m2 没有对应的镜像,所以改为直接系统上用python 跑
|
||
|
||
## 准备
|
||
|
||
下载需要运行的模型,记得修改 `start.sh` 中的模型配置
|
||
|
||
例: 使用 `Qwen2.5-0.5B-Instruct` 模型调试
|
||
|
||
```
|
||
# mac 系统
|
||
# 1. 安装 git-lfs,Git LFS(Large File Storage)是 Git 的一个扩展,专门用于高效地版本控制大型文件,如音频、视频、数据集、图形资产等
|
||
brew install git-lfs
|
||
git lfs install
|
||
|
||
# 2. 下载模型
|
||
mkdir models
|
||
cd models
|
||
git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git
|
||
```
|
||
|
||
## 命令
|
||
|
||
```shell
|
||
# 启动
|
||
sh start.sh
|
||
|
||
# 关闭
|
||
sh stop.sh
|
||
|
||
# 查看是否成功
|
||
curl http://localhost:8022/v1/models
|
||
```
|
||
|