arXiv cs.CL· Tarek Naous, Craig Boutilier, Wei Xu, Ofer Meshi·· 3 小时前AI 评分43
用潜在内在反馈训练用户模拟器
Training User Simulators with Latent Intrinsic Feedback
AI 导读
研究者提出带内在反馈的用户模拟器，在每轮对话中以第一人称用户的潜在评估状态（想法、反应、标量评分）评估助手。用真实用户与助手的交互日志训练的 LLM 模拟器，比提示词基线更真实、更会批评，并提供轮级评估，与人类判断的相关性更高。它还能为多轮 RL 训练提供奖励信号，匹配依赖外部 judge LLM 的方案，同时把 RL 计算量削减一半以上。
来源：arXiv cs.CL · arxiv.org