arXiv cs.AI· Francis F Daniel, Mauro Iba\~nez, Francis Perelman, Marian Basti·· 1 天前AI 评分23
Benchy:迈向任务型 AI 基准测试的通用语言
Benchy: towards a universal language for task-oriented AI benchmarks
AI 导读
Benchy 是一套用于 AI 程序基准测试的语义语言与执行引擎,基准由程序、评分函数与数据集三元组定义,与 AI 系统分离。基准以规范 YAML 编写,按 task/domain/language 本体分类,编译为规范 JSON 中间表示,不修复无效定义或注入默认值。引擎以命名输入对象进、命名输出对象出的统一契约执行,叶子输出字段即评分维度,外部 AI 系统在边界处适配。
来源:arXiv cs.AI · arxiv.org