如何控制-AI-成本

如何控制 AI 成本

原文：towardsdatascience.com/how-to-keep-ai-costs-under-control/

当我的团队首次推出由 GPT 驱动的内部助手时，采用率迅速上升。工程师用它来编写测试用例，支持人员用它来编写摘要，产品经理用它来起草规范。几周后，财务部门提出了账单。最初只是几百美元的试点支出，现在已经膨胀到数万美元。没有人能说清楚是哪些团队或功能导致了这种激增。

这种经历并不罕见。那些在 LLM 和托管 AI 服务方面进行实验的公司很快就会意识到，这些成本并不像 SaaS 或传统云那样表现。AI 支出是基于使用量的，并且波动性很大。每一次 API 调用、每一个令牌和每一个 GPU 小时都会增加成本。如果没有可见性，账单的增长速度会超过采用率。

随着时间的推移，我看到了四种将 AI 支出控制在可接受范围内的实用方法。每种方法在不同的设置中效果最佳。

---

1. 统一的平台用于 AI 和云成本

这些平台提供对传统云基础设施和 AI 使用的单一视图——对于已经实践 FinOps 并希望将 LLM 纳入其工作流程的公司来说，这是理想的。

Finout 在这个类别中处于领先地位。它直接从 OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 获取账单数据，同时还将支出合并到 EC2、Kubernetes、Snowflake 和其他服务中。该平台将令牌使用情况映射到团队、功能和甚至提示模板，这使得分配支出和执行政策变得更加容易。

其他像 Vantage 和 Apptio Cloudability 也提供统一的仪表板，但通常在 LLM 特定支出方面缺乏细粒度。

这适用于以下情况：

• 你的组织已经有一个现有的 FinOps 流程（预算、警报、异常检测）。

• 你想跟踪云和 LLM API 的每场对话或模型的成本。

• 你需要用与基础设施支出相同的话术来解释 AI 支出。

权衡：

• 对于较小的组织或早期实验来说，感觉比较笨重。

• 需要在多个账单源之间设置集成。

如果你的组织已经实施了云成本治理，那么从像 Finout 这样的全栈 FinOps 平台开始，可以让 AI 支出管理感觉像是一个扩展，而不是一个新的系统。

---

2. 扩展云原生成本工具

原生的云平台，如 Ternary、nOps 和 VMware Aria Cost，已经跟踪来自 Bedrock 或 Vertex AI 等托管 AI 服务的成本——因为这些直接显示在你的云提供商的账单数据中。

这种方法很实用：你是在 AWS 或 GCP 内部重用现有的成本审查工作流程，而不需要添加新的工具。

这适用于以下情况：

• 你完全依赖于一个云服务提供商。

• 大多数 AI 使用都通过 Bedrock 或 Vertex AI 进行。

权衡：

• 无法看到第三方 LLM API（如 OpenAI.com）的可见性。

• 在细粒度级别（例如，按提示或团队）分配支出更困难。

这对于仍然将 AI 集中在单一云供应商周围的团队来说是一个好的起点。

---

3. 目标化 GPU 和 Kubernetes 效率

如果你的 AI 堆栈包括在 GPU 上运行的训练或推理工作，基础设施浪费成为主要的成本驱动因素。像 CAST AI 和 Kubecost 这样的工具优化了 Kubernetes 集群内的 GPU 使用——扩展节点、消除空闲 Pod 并自动化配置。

这适用于以下情况：

• 你的工作负载是容器化和 GPU 密集型。

• 你更关心基础设施效率而不是令牌使用。

权衡：

• 不监控基于 API 的花费（OpenAI、Claude 等）。

• 重点是基础设施优先，而不是治理或归因。

如果你的最大成本中心是 GPU，这些工具可以带来快速的成功——并且可以与 Finout 等更广泛的 FinOps 平台并行运行。

---

4. AI 特定治理层

这个类别包括像 WrangleAI 和 OpenCost 插件这样的工具，它们作为 API 感知的护栏。它们允许你按应用或团队分配预算，监控 API 密钥，并在 OpenAI 和 Claude 等提供商之间实施上限。

将其视为基于令牌花费的控制平面——有助于避免未知密钥、失控的提示或范围不明的实验。

这适用于以下情况：

• 多个团队正在通过 API 实验 LLMs。

• 你需要清晰的预算界限，快速。

权衡：

• 仅限于 API 使用；不跟踪云基础设施或 GPU 成本。

• 通常需要与更广泛的 FinOps 平台搭配使用。

行动迅速的团队通常将这些工具与 Finout 或类似平台搭配使用，以实现全栈治理。

---

最后的想法

LLMs 在早期阶段感觉便宜——但到了规模，每个令牌和每个 GPU 小时都会累积起来。管理 AI 成本不仅仅是关于财务；它也是工程和产品关注的问题。

我认为它是这样的：

• 需要全栈可见性和政策？Finout是今天最全面的 AI 原生 FinOps 平台。

• 主要使用 AWS/GCP？扩展你本地的成本工具，如 Ternary 或 nOps。

• GPU 密集型工作负载？使用 CAST AI 或 Kubecost 优化基础设施。

• 担心未授权的 API 使用？像 WrangleAI 这样的治理层可以提供快速遏制。

无论你选择哪条路径，都要从可见性开始。无法衡量的事物无法管理——而且在使用 AI 花费的情况下，使用和计费之间的差距可能会迅速变得昂贵。

关于作者：Asaf Liveanu是 Finout 的联合创始人和首席产品官。

免责声明：Towards Data Science 的所有者 Insight Partners 也投资了 Finout。因此，Finout 作为贡献者享有优先权*。