大模型量化版本

https://zhuanlan.zhihu.com/p/1927104685346653102

启用:
https://ollama.com/library/qwen3:4b-instruct-2507-q8_0

from openai import OpenAI
# 初始化客户端，指定本地 Ollama 地址
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# 调用文本生成接口
response = client.completions.create(
   model="qwen3:4b-instruct-2507-q8_0",
   prompt="请用中文介绍深度学习的基本概念",
   max_tokens=200,
   temperature=0.7
)
# 输出生成结果
print("生成结果：", response.choices[0].text)