arXiv cs.CL· Chihiro Yano, Jun Hirako, Hiroaki Yamagiwa, Ryota Hirobuchi·· 4 小时前AI 评分33
J-tau:面向工具智能体-用户交互的全本地化日语基准
J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction
AI 导读
J-tau 发布首个公开的日语基准,用于评估交互式客服场景中调用工具的 LLM 智能体。该基准通过机器翻译、实体适配与人工审核对 tau-bench 做本地化,并修复了原基准的无效任务与分数聚合错误两处缺陷,后者会虚高部分模型的成绩。实验显示 J-tau 的评估错误少于朴素机器翻译版本。
来源:arXiv cs.CL · arxiv.org