Linux

1

VLLM_USE_MODELSCOPE=True python vllm.py  # 仅对当前脚本运行的子进程生效

1
2

export VLLM_USE_MODELSCOPE=True  # 对当前 shell 派生的所有子进程生效
python vllm.py

1
2
3
4
5

import os
# 必须在 vllm 库的任何导入语句或调用之前执行
os.environ['VLLM_USE_MODELSCOPE'] = 'True' # 仅对当前脚本运行的子进程生效

import vllm