跳到正文
原文
AGI Hunt· InsideDebt6345·· 2 小时前AI 评分62

LLM 分块抽取边界丢数据,2K 重叠加双去重修复

AI 导读

作者用 OpenAI Agents SDK 和 ZenRows 做线索抓取 agent,对约 54 万字符的 Clutch 目录页按 4 万字符分块交给 LLM 抽取,提示词要求跳过不完整条目,跨块边界的条目在两个块里都被跳过,静默丢数据且总数看起来正常。

来源:AGI Hunt · agihunt.info