过去三十年，互联网形成了一套默认规则：网站免费提供内容，搜索引擎免费抓取，再通过搜索流量让网站获得广告收益。但生成式 AI 正在打破这套平衡。

Cloudflare计划于 2026年9月15日 调整默认爬虫规则，将爬虫分为 Search、Agent 和 Training 三类。新接入及免费客户的网站默认允许搜索爬虫访问，同时阻止 AI 代理和训练爬虫。更复杂的是 Googlebot、Bingbot 等混合爬虫既负责搜索索引，又可能服务于 AI 摘要，因此可能受到更严格策略影响。

Cloudflare还推出 Pay Per Crawl（按次付费爬取），要求 AI 公司为内容访问表达明确的支付意图。

这背后的核心矛盾是：传统搜索是“抓取内容→带来流量”，而 AI 搜索则可能“抓取内容→直接生成答案”，用户甚至无需点击原网站。内容生产者因此承担创作成本，却未必获得相应流量回报。

Cloudflare此举，本质上是在重新定义互联网内容的计价方式：从“免费抓取换流量”，转向“访问内容就要付费”。AI可以快速总结知识，但前提是有人持续生产知识。免费白嫖内容的时代，正在结束。