网站防御AI抓取新手段：Anubis利用工作量证明（PoW）机制反制大规模爬虫

核心要点

• 防御机制升级：Anubis系统采用类似于Hashcash的工作量证明（PoW）方案，旨在通过增加计算开销来阻止AI公司的激进抓取行为。
• 保护服务器资源：该措施是为了应对AI爬虫导致的服务器宕机和资源不可用问题，确保合法用户能够正常访问。
• 社交契约的转变：开发者指出，AI公司的行为已经改变了网站托管的传统社交契约，迫使站方采取技术手段自卫。
• 未来演进方向：目前方案为临时替代品，未来将引入基于浏览器指纹（如字体渲染）的识别技术，以减少对普通用户的干扰。

详细分析

Anubis与工作量证明（PoW）的技术逻辑

根据原始信息，Anubis系统的核心逻辑在于改变抓取数据的经济成本。它借鉴了最初为减少电子邮件垃圾邮件而提出的Hashcash方案。在工作量证明（Proof-of-Work）机制下，单个用户在访问网页时所需的额外计算负载几乎可以忽略不计，但对于需要大规模、高频率抓取数据的AI公司而言，这些计算开销会迅速累积，从而使抓取行为变得极其昂贵且难以持续。这种机制并非完全禁止访问，而是一种基于成本的过滤手段，旨在将“大规模爬虫”与“普通访问者”区分开来。

AI时代下网站托管“社交契约”的崩塌

原文中提到了一个深刻的观点：AI公司改变了关于网站托管运作的“社交契约”。在传统互联网环境下，网站通常允许爬虫（如搜索引擎）抓取内容以换取流量或维持开放性。然而，AI公司通过激进的抓取行为来训练模型，不仅消耗了大量服务器资源导致服务中断，往往还不直接回馈流量给原作者。这种失衡迫使网站管理员不得不采取Anubis这样的防御措施。目前，该系统仍需要现代JavaScript支持才能运行，虽然这可能会影响部分使用隐私插件（如JShelter）的用户，但站方认为这是在AI威胁下的必要妥协。

行业影响

该新闻反映了当前AI行业与内容提供者之间日益紧张的关系。随着越来越多的网站开始采用类似Anubis的PoW防御机制，AI公司获取高质量训练数据的成本将大幅上升。这可能导致AI训练数据的获取门槛提高，甚至引发互联网内容的进一步封闭化。同时，这也推动了浏览器指纹识别和反爬虫技术的快速演进，未来网站可能会更加依赖于识别“无头浏览器”（Headless Browsers）的细微特征（如字体渲染差异）来精准拦截AI爬虫，而非无差别地要求所有用户进行验证。

常见问题

问题 1：为什么访问受Anubis保护的页面需要启用JavaScript？

因为Anubis目前依赖现代JavaScript功能来执行工作量证明（PoW）计算。这是为了验证访问者是否为真实用户而非自动化脚本。虽然开发者正在研究无需JS的解决方案，但目前关闭JavaScript或使用某些隐私插件将无法通过验证。

问题 2：Anubis是如何区分普通用户和AI爬虫的？

Anubis利用了规模效应。对于普通用户，完成一次PoW验证所需的计算量很小，不会影响体验；但对于需要抓取数百万个页面的AI爬虫，这种计算成本会呈指数级增长，从而在经济和技术上遏制大规模抓取行为。

问题 3：除了PoW，未来还有哪些防御手段？

根据原文，开发者计划引入更先进的浏览器指纹识别技术，例如通过检测浏览器如何进行字体渲染来识别“无头浏览器”。这样可以更精准地识别出自动化抓取工具，从而避免向合法用户展示挑战页面。