跳到正文
原文
AGI Hunt· ericzelikman·· 10 小时前AI 评分49

研究者警示:User Sim Index 评测可被脚本刷至 95%

AI 导读

研究者 ericzelikman 指出,业内常用的用户模拟器评测 User Sim Index(USI)并不靠谱,不应继续使用。他附带代码实现了一个硬编码「用户模型」,仅靠固定答案等平凡策略,就能在沟通、信息量、澄清追问、错误反应四个行为维度拿到约 95% 高分,说明该评测无法有效区分真实能力。

来源:AGI Hunt · agihunt.info