在vscode中集成本地开源AI大模型

continue + ollama
continue：vscode插件

ollama：官网下载https://ollama.com/
可供选择多种模型，根据自己电脑配置去选择对应的模型（本人使用qwen3-8b，该模型后台占运存大约6G，大参数模型都是在15-20G）

常见模型对比

模型	MMLU (通用知识)	HumanEval (代码生成)	GSM8K (数学推理)	SWE-Bench (代码修复)	其他亮点/弱点
Qwen3-30B-A3B	89.3	85.0	95.1	53.6	多语言强（HumanEval-XL 支持 20+ 语言）；LiveCodeBench 43.2%；弱于超长上下文复杂任务
GPT-OSS-20B	85.0	75.0	89.2	~60.0	推理速度快；
Llama 3.1 70B	86.0	81.0	96.8	45.0	平衡性好；
Qwen 2.5 72B	84.0	82.5	94.5	48.0	前代；Qwen3 整体提升 5-10%
Mistral Large 123B	84.0	85.0	92.0	55.0	工具调用强；
o3-mini (闭源)	85.5	78.0	90.0	~62.0	代理任务稳

具体配置步骤如下（qwen3-8b）：

1. 安装ollama

• macOS：brew install ollama
• Linux：curl -fsSL https://ollama.ai/install.sh | sh
• Windows：从 ollama.com 下载安装。
• 验证：运行 ollama --version。
• 启动服务：ollama serve（后台运行），检查 curl http://localhost:11434（返回 “Ollama is running”）。

2. 拉取小模型

• 在cmd/powershell下执行 ollama pull qwen3:8b 拉取小模型
• ollama list 查看列表
• 执行ollama run qwen3:8b进行测试，输入hello，看是否有回应，然后让它生成一段简单代码试试

3. 配置 config.yaml

• 将vscode中ctrl+l 打开continue，找到config文件或者Ctrl + Shift + P > “Continue: Open Config” > 编辑 ~/.continue/config.yaml：

  name: Qwen3-8B Local Config
  version: 0.0.1
  schema: v1
  models:
    - name: Qwen3-8B
      provider: ollama
      model: qwen3:8b  
      roles: [chat, autocomplete, edit]
      apiBase: http://localhost:11434
  

5.保存退出，重新打开
6.选中部分代码，按ctrl+l 分析代码 ctrl+i自动编辑代码