Antigravity SDK 中新增对本地 AI 模型的支持

Antigravity SDK 使开发者能够构建与Google Antigravity相同的智能体功能。借助这项新支持，你可以完全离线地通过本地模型启用智能体辅助功能。我们针对 LiteRT 和 Gemma 4 26B 优化了这个工作流程，来高效利用本地 GPU 和 RAM，从而进一步提升本地计算机的性能！

为什么要在本地运行代理？

本地模型执行为智能体体验提供了几个优势：

• 成本效益：执行本地代理工作流，无需 API 费用或速率限制。
• 隐私：将你的代码和请求完全保留在本地计算机上，非常适合需要应对严格数据隐私要求或受合规性限制的企业环境的开发人员。
• 离线弹性：即使在没有稳定互联网连接的环境中，也能无缝执行代理工作流程。
• 混合工作流：将高效的本地流程与基于云的流程相结合，以最大限度地提高效率，同时在需要时保留对更大、更强大的模型的访问。

 

以下是入门指南：（我们建议使用配备 24GB 以上显存或统一内存的机器）。

创建虚拟环境：

python3 -m venv .venv
source .venv/bin/activate

 

 

安装 Antigravity SDK 和 LiteRT-LM，并下载 Gemma 4 26B A4B：

pip install google-antigravity litert-lm

litert-lm import \
  --from-huggingface-repo=litert-community/gemma-4-26B-A4B-it-litert-lm \
  gemma-4-26B-A4B-it-gpu.litertlm \
  gemma4-26b

 

在你的目录中，创建一个名为 agy_sample.py 的文件。将以下内容粘贴到该文件中。

import asyncio
import os
from google.antigravity import Agent, LiteRTAgentConfig
from google.antigravity.hooks import policy

# UPDATE: Point to the locally downloaded model from the previous step (litert-lm import ...)
MODEL_PATH = os.path.expanduser("~/.litert-lm/models/gemma4-26b/model.litertlm")

async def main():
   print(f"Using local LiteRT model: {MODEL_PATH}. Please wait for local inference to complete. This could take several minutes.")

   config = LiteRTAgentConfig(model_path=MODEL_PATH).lightweight()
   async with Agent(config) as agent:
      response = await agent.chat("What files are in the current directory?")
      async for token in response:
         print(token, end="", flush=True)

if __name__ == "__main__":
   asyncio.run(main())

 

混合编排：云架构师与设备端员工的对接

在许多情况下，我们发现架构师-构建者模式是结合云模型规模和本地模型优势的绝佳方式。在下方使用更新后的 Antigravity SDK 构建的混合演示视频中，云架构师（Gemini 3.8 Flash）充当规划者和指挥者的角色，而本地的 Gemini 4 26B 实例集群则完全在设备端处理繁重的计算任务。

在负责审核和修补三个易受攻击的模块（auth.py、billing.py 和 database.py）时，该工作流程严格维护数据隐私，并使我们能够最大限度地利用token：

• 无需上传任何代码： Gemini 3.8 Flash 仅根据文件名和任务描述来规划策略并分解工作 - 仅花费 95 个云token，且没有任何源代码离开机器。
• 自主本地挑战：本地 Gemma 4 26B 模型在本地 GPU 上接管，执行对抗性审计循环：重现安全漏洞、编写候选修复程序、批评补丁，并针对回归测试套件进行验证。
• 大幅降低成本并保护隐私：在本次记录的运行中，97.2% 的token（3,322 个token）在本地离线运行，无需调用云 API，即可提供完全验证的绿色补丁，同时保持设备上专有代码的完全安全。

 

你可以查看此处的示例项目来运行内置的 3 文件挑战，或者将它指向你自己的 Python 模块和测试套件。

 

 

 

无需token的本地实用程序：CLI 资源监视器

Antigravity SDK 与 Gemma 4 26B (A4B) 结合使用，在构建实用的系统工具方面表现出色。例如，该代理构建了一个实时更新的资源监视器，可在终端中运行。只需一个提示，代理即可自主编写一个 Python 脚本，该脚本使用psutil和其他丰富的库来跟踪 CPU 和内存使用情况，生成必要的requirements.txt文件，甚至还会测试生成的代码以确保其正常工作——所有这些都完全在你的本地计算机上运行，​​并且使用了 Gemma 4 26B。

 

 

一个基于 Python 的 CLI 资源监控工具，使用 Gemma 4 26B 在设备上生成。

 

 

cli_resource_monitor.py

import asyncio
import os
from google.antigravity import Agent, LiteRTAgentConfig
from google.antigravity.hooks import policy

# UPDATE: Your prompt
PROMPT = "Build a command-line interface tool using the psutil and rich libraries that displays a live-updating terminal dashboard. It should show CPU usage, memory consumption, and a sorted table of the top 5 most memory-intensive processes. Save the script as 'monitor.py' and create a 'requirements.txt' file. Test that it works."

# UPDATE: Point to the locally imported LiteRT-LM model path
MODEL_PATH = os.path.expanduser("~/.litert-lm/models/gemma4-26b/model.litertlm")

# UPDATE: Give AGY-SDK a workspace to write files
WORKING_DIR = os.path.expanduser("~/agy-test")

os.makedirs(WORKING_DIR, exist_ok=True)
os.chdir(WORKING_DIR)

async def main():
  print(f"Using local LiteRT model: {MODEL_PATH}. Please wait for local inference to complete. This could take several minutes.")

  config = LiteRTAgentConfig(
     model_path=MODEL_PATH,
     workspaces=[WORKING_DIR],
     policies=[policy.allow_all()],
  ).lightweight()

  async with Agent(config) as agent:
     response = await agent.chat(PROMPT)
     async for token in response:
        print(token, end="", flush=True)

if __name__ == "__main__":
  asyncio.run(main())

Antigravity SDK 还通过LocalOpenAIAgentConfig 为任何 OpenAI 兼容服务器（例如 Ollama、LM Studio 或 vLLM）提供无缝的即插即用支持。这使你可以灵活地尝试不同的本地推理后端，同时保持你的代理编排、工具和工作流程完全不变。

 

 请查看Antigravity Python SDK README中的说明，开始使用本地 AI ，并了解如何使用LiteRT在边缘高效运行模型。请在 Antigravity Python SDK GitHub Issue Tracker 上分享你的反馈和功能需求。我们期待看到你的作品！

 

原文地址：https://developers.googleblog.com/introducing-support-for-local-ai-models-in-the-antigravity-sdk/