导语

Chrome与Edge两大浏览器都在紧锣密鼓地推进内置本地AI大模型功能。相关规范显示，浏览器要求系统为本地AI模型预留高达20GB的存储空间。浏览器为什么要做本地AI？20GB空间都用来做什么？WebGPU推理体验如何？本文拆解端侧LLM的技术逻辑与利弊权衡。

一、浏览器内置本地AI是什么

简单说，就是把大模型权重下载到用户本地电脑，在浏览器内部直接运行推理。用户的提示词、对话数据不需要上传到云端，全部在本地完成计算。

首批落地的功能包括：网页内容总结、写作辅助、文本翻译、PDF解读、表单自动填写等。未来还会扩展到图片生成、代码辅助等更复杂的场景。

核心卖点有两个：

  1. 极致隐私：数据不出本地，不用担心对话内容被服务器收集；

  2. 即时响应：不需要网络传输延迟，弱网甚至断网环境也能使用。

二、20GB预留空间到底是什么

很多人看到"20GB"会觉得夸张，但这其实是上限预留值，不是实际占用。

空间构成

  • 基础模型权重：几个GB到十几GB不等，不同能力等级模型大小不同；

  • 多模型组合：可能同时存放通用对话、代码、翻译等多个专用小模型；

  • 模型分片与缓存：增量更新、版本切换都需要额外空间缓冲；

  • 运行时缓存：推理过程中的KV缓存、中间数据。

20GB是给未来预留的最大值，实际初期版本不会占用这么多。用户也不是必须下载全部模型，可以按需选择下载。

为什么不做更小的模型？
模型越小能力越弱。浏览器内置AI如果能力太弱，用户就不会用。要达到可用的智能水平，模型体量就小不了。这是端侧AI永恒的矛盾：效果和体积难以兼得。

三、WebGPU：浏览器AI的算力底座

本地大模型跑在浏览器里，靠的是WebGPU标准。WebGPU是新一代Web图形标准，不仅能做3D渲染，还支持通用GPU计算（GPGPU）。

WebGPU推理优势

  1. 标准原生：不需要安装任何插件、客户端，浏览器原生支持；

  2. 硬件加速：直接调用GPU算力，推理速度远高于CPU；

  3. 沙箱安全：运行在浏览器沙箱内，安全隔离性好；

  4. 跨平台：一套代码跑在Windows、Mac、Linux、移动端。

当然，WebGPU推理也有局限性：相比原生CUDA，WebGPU还有性能损耗，驱动兼容性问题也更多。但对于浏览器场景，它是目前最优的技术方案。

四、隐私与性能的权衡

本地AI最大的卖点是隐私，但代价也是实实在在的。

收益端

  • 绝对隐私：敏感文档、商业机密可以放心让AI总结，不用担心泄露；

  • 无网络依赖：离线环境、网络差的场景照常使用；

  • 无调用成本：下载后不限次数使用，不需要按Token付费。

代价端

  1. 磁盘占用高：十几GB的空间占用，对小硬盘设备不友好；

  2. 耗电发热：GPU持续推理，笔记本电脑耗电快、风扇狂转；

  3. 能力上限有限：本地模型能力远不如云端大模型，复杂任务效果差距明显；

  4. 更新迭代慢：模型更新需要重新下载，不如云端迭代灵活。

五、未来趋势：云端+端侧混合架构

本地AI不会替代云端AI，二者是互补关系。未来浏览器AI会走向混合架构：

  • 简单任务本地跑：总结、改写、翻译这些轻量任务，本地模型直接处理，保护隐私、响应迅速；

  • 复杂任务上云端：深度创作、复杂推理、多模态任务，调用云端大模型保证效果；

  • 用户自主选择：用户可以根据隐私需求和任务类型，灵活选择本地或云端模式。

结语

把大模型塞进浏览器，是端侧AI普及的关键一步。过去跑大模型需要专门的客户端、甚至服务器，现在打开浏览器就能用。虽然目前还有体积、性能、效果等诸多问题，但方向是确定的：AI能力会持续向端侧下沉，最终变得像浏览器渲染页面一样自然。20GB只是开始，端侧AI的博弈才刚刚拉开序幕。