arXiv cs.AI· Scott C. Lowe, Sander W. Keemink·· 4 小时前AI 评分44
SpireBench:用《杀戮尖塔》评测智能体模型的长期策略博弈
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
AI 导读
SpireBench 以最高难度下的完整商业卡牌构筑游戏《杀戮尖塔》评测 20 个大语言模型,前沿模型击败启发式基线、追平普通人类玩家,但远落后于专家。流程越长差距越大,强弱之分在于每场战斗的处理,所有模型都误判长程风险,倾向保血而非以血换成长。全部游戏术语重命名后其表现部分依赖先验知识,模型也无法从跨局记忆中获得提升。
来源:arXiv cs.AI · arxiv.org