程序员必备！这款离线 GenAI 工具让你本地跑模型超简单 12.2k star

嗨，我是小华同学，专注解锁高效工作与前沿AI工具！每日精选开源技术、实战技巧，助你省时50%、领先他人一步。👉免费订阅，与10万+技术人共享升级秘籍！

“AI Edge Gallery 是一个将强大的生成式 AI 模型直接放到你手机上的实验型应用，支持 Android（现已可用）、iOS（即将）。本地运行、离线激活，用手机也能玩转先进 AI。”

项目简介

Google AI Edge Gallery 是 Google AI Edge 团队开发的移动端实验应用，目前在 GitHub 已获 12.2k star，展示了多种本地运行的 Generative AI 模型使用场景，支持用户下载模型、离线交互、图像提问、Prompt Lab 和 AI 聊天等功能。项目采用 Apache‑2.0 开源协议，面向开发者和 AI 爱好者，开放安装 APK 使用。

痛点与场景

• 隐私泄漏无忧：无需联网即可运行 AI 模型，数据完全留在设备端。
• 网络受限仍能用：远程工作、旅行途中没有网络，也能和 AI 对话。
• 开发者可调试：支持导入本地 .task 模型，方便开发者测试和调优。
• 多模型比较：提供多款 LLM，可根据需求下载不同模型做对比。

核心功能亮点

功能模块	功能描述
本地离线运行	模型下载后可完全离线使用，无需网络支持
Ask Image（图像提问）	上传图片后询问内容，例如识别番茄种类、栽培建议
Prompt Lab	支持重写语气、文本总结及生成代码等单回合任务
AI Chat	多轮对话，模仿 ChatGPT/Gemini 聊天体验
性能分析面板	实时显示 TTFT、解码速度、延迟等性能指标
模型管理	从 HuggingFace 下载不同大小模型，支持 Gemma 系列
开发者模式	支持导入本地 LiteRT .task 模型，方便调试
APK 多安装方式	支持直接安装及 ADB 安装两种方式

技术架构

• LiteRT 运行时：轻量高效，支持在 ARM CPU/NPU 上运行 LLM。
• Gemma 系列 LLM：谷歌自研的移动端模型，支持离线长文本和图像任务。
• 即时性能反馈：开发者可精准查看延迟、速度，优化体验。
• 开源 & 灵活：Apache‑2.0，支持自定义模型进入 Prompt Lab/Gallery。

界面效果展示

上传一张番茄照片，AI 本地运行，数分钟识别并给出：

“这是葡萄樱桃番茄，适合在温暖气候种植，建议……” 响应详细，时间约 4 分钟以内（在高端机型性能可接受）。

Prompt Lab

输入文本请求：

“请将以下内容转换为代码：当输入 ‘Good day’ 时，输出 ‘hello’。”

即返回 JavaScript 代码，并支持嵌入网页示例。

AI Chat

进行旅行规划对话：

“我要去西班牙旅行，请推荐行李和行程。” 生成详细 packing list 和行程建议，虽延迟较高但效果实用。

界面简洁，模块切换自然，多数情况下稳定流畅。

应用场景

• 隐私敏感用户：不愿上传个人数据，也能完全离线使用 AI。
• 偏远地区或旅行者：无网络环境下，仍可获取 AI 助力。
• 开发者调试：快速测试不同模型，调优、比对效果。
• 教育与学习：可用来教学、代码编写、文本处理等。
• 植物识别、物体提问：本地图像识别，适合研究场景应用。

项目对比

项目	模型运行方式	离线能力	模型变更	性能反馈	开源协议
AI Edge Gallery	本地 ARM 模型	✅ 完全离线	✅ 支持自定义模型	✅ TTFT等指标面板	Apache‑2.0
Hugging Face App	云端 API	❌ 需联网	❌ 固定模型	❌ 无本地性能反馈	–
ChatGPT/Gemini	云端推理	❌ 需联网	❌ 无自定义	❌ 无离线指标	专有闭源
Ollama (桌面)	本地 x86 模型	✅ 本地	✅	✅ 基本指标	开源

• AI Edge Gallery 最大优势：本地 ARM 优化，真正离线且支持自定义模型，同时性能指标透明。
• Cloud 仅支持联网使用，且无法本地掌控；桌面虽本地运行却不适用于手机。

小结

Google AI Edge Gallery 是一个极具潜力的“移动端本地 AI 试验场”，不仅让用户能在离线环境中与 AI 自由互动，还具备开发者友好的扩展性。12.2k stars 也证明了社区对真·离线 AI 的巨大期待。若你追求隐私、安全、AI 本地应用，这绝对值得收藏体验。

项目地址

https://github.com/google-ai-edge/gallery