跳到正文
原文
AGI Hunt· its_vayishu·· 2 小时前AI 评分49

如何测试故障转移是否记住对话:750 次注入失败的方法论

如何测试故障转移是否记住对话:750次注入失败的方法论

AI 导读

测试 AI 系统故障转移是否保留对话历史的方法:第 0 轮植入名字、数字、日期、生造词或偏好等事实,几轮无关闲聊后,在最后一轮询问该事实的同时杀掉当前 provider,若 fallback 正确回答即说明历史成功跨系统传递。测试规模为 150 个对话、每个跑 5 次,共对每个对比系统注入 750 次失败。

来源:AGI Hunt · agihunt.info