同一输入每次路径都不同：Agent 回归测试怎么做才靠谱？

Reddit 的 agent 回归测试讨论指出，单元测试同输入同输出的前提被打破：同一任务一次调用 3 个工具、下次 5 个都能得到正确答案，某次却可能悄悄跳过本该执行的检查。只比对最终输出会漏掉这类静默错误，比对完整轨迹又会误判合法的多路径解法。讨论梳理的部分性方案包括只断言结果、断言必须/禁止的少量步骤、同一用例跑多次算通过率，以及用 LLM judge 审查轨迹。