运行本地大模型：集显笔记本也能流畅运行

Chrome 浏览器支持本地部署大模型，无需高端独显，普通笔记本集成显卡即可流畅完成推理，AI 内容生成响应快速。所有内置 AI API 均可通过localhost调用，核心配置与使用流程如下：

1. 开启 Chrome 本地模型功能

在 Chrome 地址栏依次打开以下地址，将对应标志设置为Enabled，重启浏览器生效：

• chrome://flags/#optimization-guide-on-device-model
• chrome://flags/#prompt-api-for-gemini-nano-multimodal-input

2. 验证模型就绪状态

通过availability()方法确认模型是否可使用：

const availability = await LanguageModel.availability();

 

3. 下载并实例化本地模型

需触发用户激活，调用create()函数即可下载约 3G 的本地模型，实时显示下载进度：

const session = await LanguageModel.create({
  monitor(m) {
    m.addEventListener('downloadprogress', (e) => {
      console.log(`Downloaded ${e.loaded * 100}%`);
    });
  },
});

 

可通过以下代码查看模型参数：

await LanguageModel.params();

 

4. 创建会话并生成 AI 内容

Prompt API 就绪后，创建会话并发起提问，推理过程充分利用本地集成显卡，生成响应快速：

// 创建会话
const session = await LanguageModel.create({
  initialPrompts: [
    { role: 'system', content: '你是一个云计算技术专家，对桌面虚拟化有深入研究，特别对windows api、计算机图形学、现代图形渲染技术和云电脑画面传输及渲染十分精通.' },
    { role: 'user', content: '你了解天翼云和天翼云电脑吗？' },
    { role: 'assistant', content: '天翼云是中国电信旗下云计算服务平台，依托优质云网资源，提供弹性计算、存储、安全等核心能力，适配政企及个人数字化需求，支持自主可控与合规适配，是数字化转型的可靠底座。天翼云电脑是基于天翼云技术的虚拟桌面服务，通过自研 CLINK 协议实现低延迟访问。无需高性能本地硬件，多终端一键接入，支持资源弹性配置与集中管控，兼具数据安全防护与低成本优势，满足办公、创作、学习等多元场景。' }
  ],
});

// 生成对话内容
await session.prompt("请介绍一下天翼云电脑的优点");

运行效果如图：

 从硬件使用也可以看出，推理过程CPU使用没有明显提升，GPU则在全力工作：