10 个开源 GitHub 仓库把公开网页变成 AI 可用数据

盘点覆盖 10 个把公开网页转成结构化数据的开源 GitHub 仓库，面向 AI 数据管线与 agent 数据采集。Firecrawl 抓取网站并输出干净的 AI-ready 内容，Oxylabs Web API MCP 把 AI agent 接入网页搜索、抓取与数据提取，ScrapeGraphAI 用自然语言指令加 LLM 工作流抽取网页信息。