《Consent in Crisis》审计 14000 个域名：AI 爬虫限制激增，开放数据公地萎缩

EleutherAI 参与的论文《Consent in Crisis: The Rapid Decline of the AI Data Commons》对 14000 个 web 域名的爬取授权协议做了大规模纵向审计，发现 AI 专属限制条款激增，网站 ToS 与 robots.txt 表述互相矛盾，曾经开放的站点正迅速对 AI 爬虫关闭。