Field Note · Managed robots.txt
实测案例：后台开关全是关的，线上 robots.txt 却在屏蔽 AI 爬虫
我们实测过一个站点：界面上看不出任何问题，线上文件却一直在拦 GPTBot、ClaudeBot 等 AI 爬虫。
长什么样
站点托管在 Cloudflare。后台里与 AI 爬虫、robots.txt 相关的开关，在几个设置页面上显示的都是「关闭」。但直接打开线上的 /robots.txt ，文件开头多出一整段自动插入的规则，点名屏蔽 GPTBot、ClaudeBot 等多个 AI 爬虫。
怎么确认问题在哪一层
- 给 robots.txt 地址加一个随机参数再打开（绕开缓存），屏蔽段仍在，说明不是缓存残留。
- 用绕过 CDN 的源站地址打开 robots.txt，文件是干净的，说明规则不是源文件里写的，而是 CDN 在返回时插入的。
- 读取该站点的原始配置接口，发现旧版「托管 robots.txt」的标记仍然处于开启状态，而新版界面上已经没有这个标记对应的开关。
根因
Cloudflare 把托管 robots.txt 迁移到新机制的过程中，旧标记没有随之清除，新界面只显示新开关，于是「界面上是关的、线上是开的」。
怎么解决
打开 Bot Preference Sync，把 Search、Agent、Training 三类都设为 Allow。新机制接管后按「全部放行」生成规则，屏蔽段消失。之后不要再关回去，关掉可能退回旧标记的状态。改完再次打开线上 /robots.txt 确认。
教训
后台开关的状态不等于线上行为。检查只认 你的域名/robots.txt 实际返回的内容；SaaS 后台改版期间，新旧设置可能并存。上述界面与机制是该站点在 2026-09 的实测情况，Cloudflare 后续可能继续调整。