LLM 该放在爬虫管线哪一层？实践者总结提取管线成本与可靠性要点

实践者梳理 RAG 数据、销售线索等 AI 工作流的爬虫管线，认为 LLM 更适合放在抽取层之上而非直接当抽取器。LLM 抽取免写选择器、能处理脏数据，但长页面会撞上下文上限、成本随页面体积增长，缺失字段还可能被"合理编造"。他建议指数退避重试、保留原始 HTML 快照，并用正则/枚举做确定性校验、对 schema 不匹配告警。