AWS WAF 新功能：给 AI 爬虫收费，在边缘层直接变现你的内容

如果你运营一个内容网站，大概已经感受到了——AI 爬虫的流量比搜索引擎爬虫还猛。

AWS 的数据是：很多内容网站 50% 以上的流量来自 AI 爬虫，同比增长 300%+。这些爬虫把你的内容抓走训练模型、生成摘要，但不会给你带来回访流量。你承担了带宽和服务器成本，却得不到页面浏览量、广告曝光或订阅转化。

以前的选择很有限：要么 robots.txt 一刀切禁止，要么放任不管。

现在 AWS WAF 给了第三个选项：给它们收费。

这个功能干什么的

AWS WAF Bot Control 新增了 "AI traffic monetization" 能力。简单说：

1. 你设定每个请求的价格（可以按路径、爬虫类型、验证等级分别定价）
2. AI Agent 访问你的内容时，在边缘层完成支付
3. 支付通过稳定币到你指定的钱包
4. 没付费的 AI 爬虫被拦截或降级

整个过程在 WAF 边缘完成，不需要改你的源站代码。

架构长什么样

AI Agent 请求
    ↓
CloudFront / ALB
    ↓
AWS WAF（Bot Control + AI Monetization）
    ├── 验证 Agent 身份（verified/unverified）
    ├── 检查支付状态
    ├── 未付费 → 返回 402 Payment Required
    └── 已付费 → 放行到源站
    ↓
你的内容服务器

配置示例

基本策略：按路径定价

{
  "Name": "AITrafficMonetization",
  "Priority": 1,
  "Statement": {
    "ManagedRuleGroupStatement": {
      "VendorName": "AWS",
      "Name": "AWSManagedRulesBotControlRuleSet",
      "ManagedRuleGroupConfigs": [
        {
          "AWSManagedRulesAIMonetizationConfig": {
            "InspectionLevel": "TARGETED",
            "EnableMonetization": true
          }
        }
      ]
    }
  },
  "Action": {
    "Block": {}
  },
  "VisibilityConfig": {
    "SampledRequestsEnabled": true,
    "CloudWatchMetricsEnabled": true,
    "MetricName": "AIMonetization"
  }
}

分级定价规则

{
  "MonetizationPolicy": {
    "DefaultPricePerRequest": "0.001",
    "Currency": "USDC",
    "PaymentWallet": "0x...",
    "Rules": [
      {
        "PathPattern": "/api/articles/*",
        "PricePerRequest": "0.005",
        "Description": "Full article content - premium pricing"
      },
      {
        "PathPattern": "/api/summaries/*",
        "PricePerRequest": "0.001",
        "Description": "Summary content - standard pricing"
      },
      {
        "PathPattern": "/public/*",
        "PricePerRequest": "0",
        "Description": "Public content - free tier"
      }
    ],
    "BotCategoryOverrides": [
      {
        "Category": "verified_ai_search",
        "Discount": 0.5,
        "Description": "Verified search engines get 50% discount"
      },
      {
        "Category": "unverified_scraper",
        "Action": "BLOCK",
        "Description": "Unverified scrapers blocked entirely"
      }
    ]
  }
}

CDK 部署

from aws_cdk import (
    aws_wafv2 as wafv2,
    Stack
)
from constructs import Construct

class AIMonetizationStack(Stack):
    def __init__(self, scope: Construct, id: str, **kwargs):
        super().__init__(scope, id, **kwargs)

        web_acl = wafv2.CfnWebACL(
            self, "AIMonetizationACL",
            default_action=wafv2.CfnWebACL.DefaultActionProperty(
                allow=wafv2.CfnWebACL.AllowActionProperty()
            ),
            scope="CLOUDFRONT",
            visibility_config=wafv2.CfnWebACL.VisibilityConfigProperty(
                cloud_watch_metrics_enabled=True,
                metric_name="AITrafficMonetization",
                sampled_requests_enabled=True
            ),
            rules=[
                wafv2.CfnWebACL.RuleProperty(
                    name="BotControlWithMonetization",
                    priority=1,
                    override_action=wafv2.CfnWebACL.OverrideActionProperty(
                        none={}
                    ),
                    statement=wafv2.CfnWebACL.StatementProperty(
                        managed_rule_group_statement=wafv2.CfnWebACL.ManagedRuleGroupStatementProperty(
                            vendor_name="AWS",
                            name="AWSManagedRulesBotControlRuleSet"
                        )
                    ),
                    visibility_config=wafv2.CfnWebACL.VisibilityConfigProperty(
                        cloud_watch_metrics_enabled=True,
                        metric_name="BotControl",
                        sampled_requests_enabled=True
                    )
                )
            ]
        )

几个关键问题

AI Agent 怎么知道要付费？

WAF 返回 402 Payment Required + 响应头里带支付信息。合规的 AI Agent（像 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot）会按协议完成支付后重试请求。

不付费的爬虫怎么办？

你可以选择：

• 直接 Block（返回 403）
• 降级响应（只给摘要，不给全文）
• Rate limit（允许少量免费请求）
• 重定向到付费墙页面

收入怎么结算？

通过稳定币直接到你的钱包，WAF 不抽佣。但需要注意的是，这个功能本身有 WAF Bot Control 的费用（按请求计费）。

适合谁用

适合的场景：

• 内容站（新闻、博客、研究报告）被 AI 大量抓取
• 有 API 提供结构化数据的平台
• 版权内容（图库、论文数据库）
• B 端 SaaS 的数据接口

不太适合的：

• 流量主要是真人用户的消费类网站
• 希望 AI 引擎引用自己提高曝光的站点
• 内容本身就是免费公开的文档站

我的看法

这个功能解决了一个真实的商业问题：AI 时代内容创作者的价值如何变现。

以前的互联网模式是"你看我的内容 → 我拿到流量 → 流量变现（广告/订阅）"。AI 爬虫打破了这个循环——它抓走了内容，但没有流量回来。

WAF AI Monetization 提供了一种新的平衡：AI 公司可以用你的内容，但要付费。这比一刀切 block 更合理——完全禁止 AI 索引可能让你在 AI 时代失去曝光。

当然，这个生态还在早期。关键问题是：有多少 AI Agent 会遵守这个协议。如果主流的 AI 公司（OpenAI、Anthropic、Google）都支持这个付费协议，那内容创作者就多了一条收入渠道。

官方文档：https://docs.aws.amazon.com/waf/latest/developerguide/waf-bot-control.html
AWS WAF 定价：https://aws.amazon.com/waf/pricing/