feat: 文本

This commit is contained in:
李如威 2025-12-19 16:02:10 +08:00
parent cd5057a466
commit 0aee14f03d
4 changed files with 19 additions and 21 deletions

View File

@ -44,19 +44,20 @@ fi
# 启动 主模型 # 启动 主模型
echo "🚀 启动主模型 API Server..." echo "🚀 启动主模型 API Server..."
nohup python -m vllm.entrypoints.openai.api_server \ # nohup python -m vllm.entrypoints.openai.api_server \
--model "$MODEL_PATH" \ # --model "$MODEL_PATH" \
--served-model-name "$MODEL_NAME" \ # --served-model-name "$MODEL_NAME" \
--max-model-len 2048 \ # --max-model-len 2048 \
--host 0.0.0.0 \ # --host 0.0.0.0 \
--port $PORT \ # --port $PORT \
--api-key "$API_KEY" > "$LOG_FILE" 2>&1 & # --api-key "$API_KEY" > "$LOG_FILE" 2>&1 &
echo $! > "$PID_FILE" # echo $! > "$PID_FILE"
# 启动 Embedding 模型 # 启动 Embedding 模型
echo "🚀 启动 Embedding 模型 API Server..." echo "🚀 启动 Embedding 模型 API Server..."
nohup python -m vllm.entrypoints.openai.api_server \ nohup python -m vllm.entrypoints.openai.api_server \
--model "$EMBEDDING_MODEL_PATH" \ --model "$EMBEDDING_MODEL_PATH" \
--task embedding \
--served-model-name "$EMBEDDING_MODEL_NAME" \ --served-model-name "$EMBEDDING_MODEL_NAME" \
--max-model-len 2048 \ --max-model-len 2048 \
--host 0.0.0.0 \ --host 0.0.0.0 \
@ -65,18 +66,18 @@ nohup python -m vllm.entrypoints.openai.api_server \
echo $! > "$EMBEDDING_PID_FILE" echo $! > "$EMBEDDING_PID_FILE"
# 启动 Rerank 模型 # 启动 Rerank 模型
echo "🚀 启动 Rerank 模型 API Server..." # echo "🚀 启动 Rerank 模型 API Server..."
nohup python -m vllm.entrypoints.openai.api_server \ # nohup python -m vllm.entrypoints.openai.api_server \
--model "$RERANK_MODEL_PATH" \ # --model "$RERANK_MODEL_PATH" \
--served-model-name "$RERANK_MODEL_NAME" \ # --served-model-name "$RERANK_MODEL_NAME" \
--max-model-len 2048 \ # --max-model-len 2048 \
--host 0.0.0.0 \ # --host 0.0.0.0 \
--port $RERANK_PORT \ # --port $RERANK_PORT \
--api-key "$API_KEY" > "$RERANK_LOG_FILE" 2>&1 & # --api-key "$API_KEY" > "$RERANK_LOG_FILE" 2>&1 &
echo $! > "$RERANK_PID_FILE" # echo $! > "$RERANK_PID_FILE"
echo "✅ 所有模型已启动" echo "✅ 所有模型已启动"
echo "主模型: http://localhost:$PORT/v1 (PID=$(cat $PID_FILE)) 日志: $LOG_FILE" echo "主模型: http://localhost:$PORT/v1 (PID=$(cat $PID_FILE)) 日志: $LOG_FILE"
echo "Embedding: http://localhost:$EMBEDDING_PORT/v1 (PID=$(cat $EMBEDDING_PID_FILE)) 日志: $EMBEDDING_LOG_FILE" echo "Embedding: http://localhost:$EMBEDDING_PORT/v1 (PID=$(cat $EMBEDDING_PID_FILE)) 日志: $EMBEDDING_LOG_FILE"
echo "Rerank: http://localhost:$RERANK_PORT/v1 (PID=$(cat $RERANK_PID_FILE)) 日志: $RERANK_LOG_FILE" # echo "Rerank: http://localhost:$RERANK_PORT/v1 (PID=$(cat $RERANK_PID_FILE)) 日志: $RERANK_LOG_FILE"

View File

@ -1 +0,0 @@
21758

View File

@ -1 +0,0 @@
21759

View File

@ -1 +0,0 @@
21757