很多人还没注意：Cloudflare 上线新开关，让你留在搜索结果里同时拒绝 AI 训练

三十年的旧约定，被混合用途爬虫打破了

爬虫与网站主之间曾经有一个简单约定：你来抓我，你把流量还给我。近三十年来这套交换基本成立，AI 改写了条款。一个爬虫同时为搜索索引和 AI 训练收集内容的"混合用途爬虫"，目前在 Cloudflare 网络上已占已验证爬虫流量的 36.6%，是单一最大类别。

网站主的真实偏好差异很大：屏蔽搜索爬虫的不到 1%，限制 AI 训练的则有 17%。但在 9 月 15 日之前，对缺乏相应控制能力的混合用途爬虫说"不接受训练"，代价往往是同时丢掉搜索，因为它们是同一个爬虫。

对内容型业务来说，真正有价值的不是能不能屏蔽 AI，而是能不能把一个笼统的开关拆成几个互不牵连的选择。选择的粒度本身，就是谈判能力。

三个独立开关，取代一个 Block AI Bots

9 月 15 日起，Cloudflare 用三个相互独立的控制项取代原有的 Block AI Bots：Search 对应构建搜索索引的爬虫，Training 对应训练或微调模型的爬虫，Agent 对应代表用户行动的系统，例如对话抓取机器人与浏览器智能体。同时上线 Disallow AI Training，它通过 robots.txt 发布"不接受训练"的偏好。

与之配套的是 Accountable 可问责认定。爬虫运营方需满足或承诺满足四项要求：为网站主提供通过 robots.txt 或同类标准退出 AI 训练的方式；允许网站主退出 AI 生成的搜索摘要；提供 URL 级别的用途可见性；公开确认退出训练不会影响传统搜索排名。苹果、谷歌、微软已被认定符合条件。

亚马逊、Anthropic、Meta、OpenAI 则被归入另一类情况：它们把搜索与训练拆成不同的爬虫，因此 Cloudflare 可以直接拦截训练爬虫而不影响搜索。在这两类之外的训练爬虫，会在站点选择 Disallow AI Training 后被直接阻断。

迁移时最容易踩错的一个选项

大多数用户不需要做任何操作，原有设置会自动迁移。但有一处定义变化必须留意：Block 与 Block on pages with ads 现在同样作用于混合用途爬虫，包括 Applebot、Bingbot、Googlebot，也就是说选 Block 会连搜索一起停掉。想实现停训练、留搜索，正确选项是 Disallow AI Training，而不是把 Training 设成 Block。

新接入的域名会收到两套推荐配置之一：靠广告变现的站点，搜索开启、AI 训练禁止、广告页上的智能体阻断；不靠广告变现的站点，三者全部允许。这个默认值设计得很直白，广告收入依赖真人看到页面，而训练和智能体抓取都替代了那次访问。Cloudflare 还表示，针对 AI 摘要的粒度控制是下一步，目标在明年初让网站主在一处决定内容被摘要引用的比例。