模型上线与灰度发布实践

一、问题背景

在灵析项目中，LSTM模型完成训练和离线评估后，面临一个实际问题：如何将新模型部署到线上环境？

这是一个典型的AI产品上线困境——离线验证通过不代表线上表现符合预期。直接全量替换旧模型存在明显风险，需要找到一种可控的上线方式。

二、解决方案

2.1 灰度发布设计

灰度发布的核心思路是控制新模型的流量比例，逐步验证效果，而非一次性全量切换。

在配置文件中新增一个环境变量控制灰度比例：

python

NEW_MODEL_RATIO = int(os.getenv("NEW_MODEL_RATIO", "5"))

分流逻辑如下：

python

def get_model_for_user(user_id: str):
    bucket = hash(user_id) % 100
    if bucket < NEW_MODEL_RATIO:
        return load_new_model()
    else:
        return load_old_model()

• 默认5%的请求走新模型

• 95%的请求继续使用旧模型

• 用户无感知，响应格式保持一致

灰度比例可根据监控数据逐步调整：5% → 20% → 50% → 100%。每个阶段观察一段时间，确认指标正常后再扩大范围。

2.2 模型版本管理

为了支持灰度发布和回滚，需要建立模型版本管理机制：

• 模型文件按版本命名：lstm_v1.0.h5、lstm_v2.0.h5

• model_metadata.json记录每个版本的训练时间、评估指标、文件路径

• 配置文件记录当前生效的版本号

2.3 回滚接口

当发现新模型存在问题时，需要通过管理接口快速回滚：

python

@router.post("/model/rollback")
async def rollback_model(model_type: str, target_version: str):
    # 1. 验证目标版本是否存在
    # 2. 更新配置文件中的版本号
    # 3. 重新加载模型文件
    # 4. 返回回滚结果
    return {"success": True, "reloaded": True}

回滚的关键要求：

• 不重启服务：热重载模型文件，避免服务中断

• 用户无感知：切换在请求级别完成，正在处理的请求不受影响

• 可验证：接口返回reloaded: true确认切换成功

三、验证结果

调用回滚接口：

json

POST /api/admin/model/rollback
{
  "model_type": "lstm",
  "target_version": "v1.0"
}

响应：

json

{
  "success": true,
  "reloaded": true,
  "message": "模型已回滚至 v1.0"
}

reloaded: true表示模型文件已成功切换，线上服务立即生效，无需重启。

四、总结

灰度发布解决的核心问题是上线流程的可逆性。没有灰度发布时，上线是一次不可逆的操作；有了灰度发布，上线变成了一个可以逐步验证、随时回退的过程。

这项能力的实现成本不高——主要是一个分流逻辑、一个版本配置文件、一个回滚接口。但它改变了整个模型上线的风险模型，让AI产品的迭代更加可控。