xinference 安装及加载模型+ Cherry Studio

python -V
Python 3.12.10

 

01_在python虚拟环境pip安装.bat

chcp 65001
cd /d C:\soft\xinference

IF NOT EXIST venv_xinference (
python -m venv venv_xinference
)

CALL venv_xinference\Scripts\activate

call venv_xinference\Scripts\python.exe -m pip install --upgrade pip setuptools wheel

 pip install xinference[all]

PAUSE

02_启动.bat

chcp 65001
set HF_ENDPOINT=https://hf-mirror.com
set XINFERENCE_MODEL_SRC=modelscope
set XINFERENCE_HOME=C:\soft\xinference

cd /d C:\soft\xinference

IF NOT EXIST venv_xinference (
    python -m venv venv_xinference
)

CALL venv_xinference\Scripts\activate

xinference-local 

PAUSE

LLM

qwen2.5-instruct llama.cpp ggufv2  7 q4_k_M  UID qwen2.5-instruct-7 推荐 占用内存少 7G

或者

Qwen3-Instruct  llama.cpp ggufv2  4 q4_k_M  UID qwen2.5-instruct-4

嵌入模型

bge-m3

重排模型

bge-reranker-v2-m3 q4_k_M  llama.cpp ggufv2 q3_k_M 

 Cherry Studio 

添加模型  兼容 OpenAI  http://localhost:9997

刷新模型，增加以上启动的模型。