用蜜罐大锤封杀 AI 爬虫:B6 的低成本反爬实践

一个名为 OpenBenches.org 的个人网站,曾遭遇严重的爬虫流量问题:每月产生超过 2.5TB 的爬取流量,峰值每天达到 216GB。大量流量来自 AI 爬虫,它们持续抓取网站的数据和图片。即使网站通过 robots.txt 声明禁止抓取,也没有明显效果。

为此,作者 Terence Eden 开发了一个名为 B6 的反爬系统。它的核心思路很简单:不再礼貌地请求爬虫离开,而是让违规者踩中陷阱后直接封禁。

原文:Blunt Banhammer Blocks Basic Bots Ballistically

具体实现采用了蜜罐(Honeypot)技术。首先,网站创建一个专门的 /honeypot/ 目录,并在 robots.txt 中声明禁止访问。随后,在网站每个页面中隐藏一个指向该目录的链接,通过 CSS 隐藏、aria-hidden 属性以及零宽字符等方式,让正常访客无法发现它,但普通爬虫仍可能解析并跟随链接。

当某个 IP 访问蜜罐页面时,PHP 程序会提取访问者的 IP 地址和 User-Agent,并将 IP 自动写入 .htaccess 的封禁列表。此后,该 IP 的请求会被 Web 服务器直接拦截,返回 HTTP 402 状态码。

效果相当明显:运行一周后,系统封禁了 400 多个 IP,网站日流量从峰值约 216GB 降至 25GB 左右。

当然,这种方案并不完美。首先,永久封禁 IP 过于激进,共享出口、运营商 NAT 或被劫持的 IP 都可能导致正常用户遭受误伤。其次,智能爬虫完全可以识别隐藏链接、忽略蜜罐路径,甚至通过遵守 robots.txt 避开陷阱。此外,直接修改 .htaccess 还存在文件膨胀、并发写入冲突等问题。更值得警惕的是,攻击者甚至可以利用蜜罐链接诱导真实用户访问,从而制造误封。

更稳妥的改进方式包括:采用带有效期的临时封禁、使用签名 Token 防止第三方构造陷阱链接,以及通过 Fail2ban 将封禁规则交给防火墙管理。

B6 的价值不在于技术有多先进,而在于它展示了一种实用主义思路:面对大量低质量自动化流量,有时不需要复杂的反爬平台,一个成本极低的蜜罐就能解决大部分问题。 对个人网站和小型服务而言,这种方案值得借鉴,但高价值业务仍需要更完善的风控体系。

如果你有魔法,你可以看到一个评论框~