arXiv cs.CL· Lucas H. McCabe, Sarah Lukens, H. Howie Huang·· 4 小时前AI 评分31
LLM 智能体能否高效识别家电故障？来自 CoffeeBench 模拟家电诊断的洞见
Can LLM Agents Efficiently Identify Appliance Faults? Insights From Diagnosing a Simulated Appliance
AI 导读
研究提出 CoffeeBench，用模拟家电评估 LLM 智能体的故障诊断能力，结果显示模型难以仅凭传感器信息稳定识别故障，但表现最好的模型能迭代收敛故障选项空间并最终成功诊断。初始诊断不确定性与 LLM 判定的推理可靠性被识别为诊断成功的高信号预测因子。作者还建议为开放权重模型显式跟踪 episode 状态以减少超时，并用 deliberation loop 细化诊断假设。
来源：arXiv cs.CL · arxiv.org