私有化部署的成本账：算力、模型、运维三层隐性清单

摘要

本文以一个企业私有化项目的真实案例为引，指出多数预算表将私有化部署简化为「GPU 服务器 × N」一行，而这一行恰恰是整个项目中成本占比最低的部分。文章将私有化的真实成本拆解为算力、模型、运维三个层次，并给出混合路由的工程化解法，以及 Codigger 体系的落地实践。

1. 案例引入

某企业在 AI 大会后决定私有化部署，采购八台 GPU 服务器，理由是「数据不用出去」。设备到货、模型跑通三个月后，团队讨论的焦点转向电费归属、模型升级责任与不足三成的利用率，财务开始追问投资回报。该案例具有代表性：硬件采购常被误认为部署完成的标志。

2. 算力层成本

私有化的算力成本不能仅以峰值算力计量，有效分母应为「峰值 × 利用率」。推理负载存在明显峰谷，即便持续运行的集群，GPU 有效利用率通常也仅六到七成，企业内部应用更低。利用率从 70% 降至 15%，每百万 token 综合成本差异可达近 5 倍。

此外需计入：常驻显存的空耗（无请求时约 30% 功耗）、三年折旧（新一代卡能效比逐年抬升，既有算力持续缩水）。测算表明，私有化的成本甜区位于「主力开源模型 + 高利用率」区间，而非一味追求更大参数规模。

3. 模型层成本

硬件可买断，模型能力持续演进。选型错配会使单位推理成本不降反升；量化至 3-4bit 带来的能力折损，可能使「私有化旗舰」弱于云端满血版本。开源模型按月迭代，每次升级都涉及评测、回归与调优。云端既有的 prefix caching 等优化，私有化环境默认无法获得。

4. 运维层成本

持续运行意味着真实的排班与值守。驱动、CUDA、推理框架、量化方案四层依赖相互耦合，任一升级都近似一次发布工程。故障恢复、模型文件校验、接口越权防护等，多为上线后逐步暴露的隐性负担。供给弹性为负：业务扩张时采购以月计，业务收缩时设备照常折旧。

5. 工程化解法

成熟团队采用分层路由：高频低敏任务交由本地小模型，复杂推理调用云端旗舰 API，强敏感任务保留私有化模型，并以统一路由网关按任务特征、成本预算与数据级别自动调度、失败降级。进一步可将闲置算力纳入算力与模型交易市场，使持有成本转为可回血资产。

6. 结论

私有化部署是算术题而非表态题。在预算表签字前，应补全预期利用率、模型年迭代工时与单位推理成本三列。唯有算力、模型、运维三张清单皆核算平衡，成本数字才会真正参与决策。

7. 实践参考：Codigger 体系

前述清单在 Codigger 的实践中逐项得到验证，其结论可概括为：让算力跟着成本走，而不是让业务跟着硬件走。该体系将开发环境与算力解耦：本地 AI 电脑提供数据不出本机的推理能力，旗舰能力经由模型路由调度至云端，夜间闲置算力可进入算力与模型交易市场流通，按 Token 付费使成本随用量浮动。在此框架下，私有化的定位明确为数据主权的技术手段，而非一次性买断的财务动作。