LangChain：仅靠生产traces生成evals不够

2026年10月16日，AGI Hunt 报道，LangChain 工程师 Brace Sproul 提出，仅依靠用户真实流量产生的 traces 来自动生成 evals 远远不够。他表示，用生产 traces 做出的 evals 得到的只是回归测试式的评测，这类 evals 固然该有，但在 eval 开发中，超过 50% 的时间应花在探索 agent 理论上能处理什么，并针对这些能力编写评测，从而在用户踩坑之前发现问题。其结论是不能简单把生产 traces 转换成 evals，而需要更主动的评测设计。报道中该说法为工程师个人观点，未提及 LangChain 官方回应或后续动作，事件暂无其他进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。