#2 Cloudflare 开始向 AI 爬虫收费，免费内容换流量的时代正在结束

AI SEO 2026-08-19

过去三十年，互联网形成了一套默认规则：网站免费提供内容，搜索引擎免费抓取，再通过搜索流量让网站获得广告收益。但生成式 AI 正在打破这套平衡。

Cloudflare计划于 2026年9月15日 调整默认爬虫规则，将爬虫分为 Search、Agent 和 Training 三类。新接入及免费客户的网站默认允许搜索爬虫访问，同时阻止 AI 代理和训练爬虫。更复杂的是 Googlebot、Bingbot 等混合爬虫既负责搜索索引，又可能服务于 AI 摘要，因此可能受到更严格策略影响。

Cloudflare还推出 Pay Per Crawl（按次付费爬取），要求 AI 公司为内容访问表达明确的支付意图。

这背后的核心矛盾是：传统搜索是“抓取内容→带来流量”，而 AI 搜索则可能“抓取内容→直接生成答案”，用户甚至无需点击原网站。内容生产者因此承担创作成本，却未必获得相应流量回报。

Cloudflare此举，本质上是在重新定义互联网内容的计价方式：从“免费抓取换流量”，转向“访问内容就要付费”。AI可以快速总结知识，但前提是有人持续生产知识。免费白嫖内容的时代，正在结束。

#1 SEO：sitemap 和 robots.txt

SEO 站点地图 robots.txt 2013-09-30

给本站加上了 sitemap.xml 和 robots.txt。

SEO 常用工具中有两个：站点地图（sitemap）和爬虫协议禁止抓取文件（robots.txt）。

请原谅我用一个这么长的名字来称呼 robots.txt。

站点地图

  1. UTF-8 编码
  2. 单个文件大小不能超过 50MB，其中 URL 数量不能超过 50 万，如果超出限制可以创建多个 sitemap，然后通过 sitemap 索引文件将其连接。
  3. 遵守 XML 规范，需要对 & 符号 (&)、单引号 (')、双引号 (")、小于号 (<) 和大于号 (>) 进行实体符号转义。很重要！

结构类似：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>http://www.example.com/aaa</loc>
        <lastmod>2005-01-01</lastmod>
        <changefreq>monthly</changefreq>
        <priority>0.8</priority>
    </url>
    <url>
        <loc>http://www.example.com/bbb</loc>
        <lastmod>2005-01-01</lastmod>
        <changefreq>weekly</changefreq>
        <priority>0.7</priority>
    </url>
    <url>
        <loc>http://www.example.com/ccc</loc>
        <lastmod>2005-01-01</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.7</priority>
    </url>
</urlset>

PS: XML 也可以使用样式，本站就有个简单的样式，可以打开 sitemap 页面看看。
就是在 urlset 前加了个样式表：<?xml-stylesheet type="text/xsl" href="sitemap.xsl"?> 样式表连接

爬虫协议

告诉爬虫不要采集指定的路径。

不过这个其实谈不上协议，只是行业内的一个约定而已，大厂家尚且不一定严格遵守（百度诉360违反Robots协议案开庭 百度索赔1亿元）。

其他 SEO 工具或方法

反链

以下内容来自：维基百科 - 反向链接。

反向链接是指A站通过域名或锚文本指向B站，从而使网站权重得到提升。

增加反向链接方法

在论坛签名内加上网站名，发言时就会带上网站链接
创建博客，在更新的文章内加上网址
到各个相关门户投稿，并加上网站链接
购买链接，这种方法不太稳定，不建议采用
在别人博客留言
和其他网站交换友情链接

反向链接作用

对于SEO而言，反向链接能够使网站获得好的排名，所以，反向链接的好坏直接影响网站的整体权重和流量。

参考