AI 爬虫被 402 挡在门外：「按爬取付费」成了站长的第二门生意
一个"沉睡"二十多年的状态码复活了
HTTP 402 Payment Required 自上世纪 90 年代起就一直"保留未用"，2026 年它终于上岗：Cloudflare 在生日周发布 Monetization Gateway 测试版——网站、API、MCP 工具与数据集可以向 AI 智能体按用量收费，付费意图不明确的爬虫请求直接吃 402；更早的 9 月 15 日，新注册域名与免费套餐上"运行广告的页面"已默认屏蔽混合用途 AI 爬虫。官方披露的另一半背景是：如今抵达网站的流量超过一半来自自动化访问，其中增长最快的正是 AI 智能体。
站长面前的三层选择
- 封：不伺候——默认策略帮你挡住只取不给的混合爬虫，适合内容原创度高、变现路径在自己手里的站点；
- 看：先搞清楚谁在抓——用可观测面板区分搜索爬虫、AI 爬虫与恶意扫射，别把搜索引擎的索引流量一并误杀（Bot 流量的日常监控思路见 带宽账单越来越贵，平台 Bot 日志见 全平台日志中心）；
- 收：给愿意付费的智能体开一条"正门"——明码标价，按请求、按令牌、按数据集计费。
SEO 流量的结构性变化
过去 robots.txt 一行指令就能表达的"偏好"，如今面对的是会试探、会协调的智能体流量；搜索引擎爬虫与 AI 爬虫的分离管理会成为新的日常功课——"被索引"与"被喂养模型"是两件该分开定价的事。短期内采集方也会更隐蔽：伪装浏览器、住宅 IP、低速切片抓取都在路上，指纹加行为分析将取代 UA 匹配成为准入判断的标准姿势。
收费之前，先数清脸孔
402 的账单不会自动到来，第一步是回答"谁在来"：流量里多少是搜索、多少是大模型训练、多少是白拿不付的搬运。可见性没建立之前，封禁和收费都只是开盲盒——这也是为什么"看清每一种自动化的脸"要排在所有策略调整之前。
悠梦庭高防CDN 的口径
平台把"可见性→控制→计价"当作同一条链来做：先让你在日志中心看清每种自动化的脸，再让你按路径粒度设策略，计费能力在路上。机器流量不再是背景噪声，而是资产负债表上的一行。
一句结论
白嫖内容的时代正在关门，内容定价的时代刚开缝。先想清楚你的流量里谁值得欢迎、谁该付钱、谁永远别进来。
更多行业观察见 资讯中心。