近日，互联网安全公司Cloudflare发布了一系列新政策，旨在帮助网站抵御AI爬虫的过度抓取行为，并尝试构建一种全新的商业模式，以保护内容创作者的权益。
据了解，Cloudflare的最新政策要求所有签约其流量管理服务的新域名用户必须选择是否允许AI爬虫访问其网站。与此前推出的免费反爬工具不同，此次更新后，默认情况下将自动屏蔽AI爬虫。目前，包括康泰纳仕、《时代》杂志和美联社在内的多家知名出版商已选择完全关闭AI爬虫的访问权限。
Cloudflare首席执行官马修・普林斯表示，内容创作者正面临前所未有的挑战。由于用户更倾向于通过聊天机器人获取内容，导致原创网站的流量显著下降。他强调：”如果没有持续的内容创作，互联网将失去其独特价值。AI爬虫的无节制抓取正在威胁这一生态系统。我们的目标是重新赋予创作者控制权，并为AI行业留出创新空间。这不仅是对现有模式的突破，更是对未来互联网生态的一次重要探索。”
值得注意的是，Cloudflare还推出了名为”按爬取付费”的试点项目。该项目允许网站所有者向AI爬虫收取访问费用。具体来说，每当有AI爬虫尝试访问内容时，系统会首先检查其支付意愿。如果对方愿意支付，则正常返回页面；否则将收到带有定价信息的402错误代码。Cloudflare将记录这些交易并提供技术支撑。
目前该项目仍处于初期阶段，未来可能会不断调整和优化。除了统一收费模式外，Cloudflare还在探索更多可能性，比如根据内容类型设定动态价格等灵活的收费方式，以满足不同出版商的需求。
相关文章
