长对话一致性怎么评？AI 角色扮演平台 Wollo 求解记忆评估

AI 角色扮演平台 Wollo 团队提出长对话一致性的评估难题：「记忆」比事实回忆更难评估，模型可能记得角色名字和背景，却在后文与既定事件、关系或决定矛盾。团队尝试过对话摘要、检索记忆和结构化事实等方案，并考虑用矛盾率、时序一致性等指标衡量效果。他们询问开发者实际用的是现成 benchmark、自建多轮评测集还是人工评估。