arXiv cs.CL· Yilin Jiang, Fei Tan, Xuanyu Yin, Guanchu Wang, Xia Hu, Yutao Yue·· 4 小时前AI 评分49
度量并减少 LLM 智能体的不可用回复
Measuring and Reducing Unusable Replies of LLM Agents
AI 导读
研究提出“回复可用性”指标，用读者模型从请求者视角判断 LLM 智能体的回复能否被理解和使用。在 8 个模型上，480 条回复中 54% 不可用，最好模型仍失败 30%，多因指向请求者未见材料或智能体自造标签。明确写出回复要求可把失败率从 0.52 降到 0.43，二次模型改写回复可降到 0.36，盲测获人工标注者确认。
来源：arXiv cs.CL · arxiv.org