AGI Hunt· xuanalogue·· 3 小时前AI 评分24
xuanalogue 智能体售卖机基准对标 Vending Bench,并新增模型违约率测量
新智能体基准对标 Vending Bench 并测模型违约率
AI 导读
研究者 xuanalogue 介绍的智能体售卖机基准对标 Vending Bench 与 Vending Bench Arena,除原始利润外还测量模型违约率。受项目资金限制,其测试模型数量少于 Vending Bench,因此未下强结论。初步观察显示 Sol 5.6 表现最激进、最常违约。
来源:AGI Hunt · agihunt.info