想做 AI 搜索曝光却封禁爬虫：多家公司防火墙拦截 AI 抓取

开发者 Gagan Ghotra 指出，许多企业一边希望获得 AI 搜索可见性，一边其防火墙却向 AI 公司爬虫返回 404 或直接拦截抓取。其晒出的截图显示，某站点通过 Cloudflare 安全服务挡住了 AI 公司 bot 的请求。这意味着这些公司在 AI 搜索结果中可能根本没机会被引用，想被收录需先放行抓取。