Amazon Bedrock 跨区域推理路由：限流自动 Failover

背景

Bedrock 推理请求在流量尖峰时可能触发 ThrottlingException。之前需要应用层自行实现多区域重试逻辑。

5 月亚马逊云科技为 Bedrock 引入了跨区域推理路由，通过 Inference Profile 配置实现自动 failover。

工作原理

应用 → Inference Profile → 主区域（正常时）
                         → 备用区域（限流/不可用时，自动切换）

应用代码无需修改，只需指向 Inference Profile 的 ARN。

配置示例

{
  "inferenceProfileName": "prod-claude",
  "modelSource": {
    "copyFrom": "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0"
  },
  "routingConfiguration": {
    "primaryRegion": "us-east-1",
    "fallbackRegions": ["us-west-2", "eu-central-1"]
  }
}

适用场景

• 流量尖峰撞限额
• 区域级别故障
• 多团队共享限额导致互相影响

注意事项

维度	考虑点
数据驻留	备用区域须在合规范围内
延迟	同洲 +20-50ms，跨洲 +100-200ms
模型可用性	备用区域须部署相同模型
监控	切换频率高说明主区域限额需提升

建议

生产工作负载建议配置至少一个同洲备用区域。

---

来源：亚马逊云科技 2026/5 月 Bedrock 更新