arXiv cs.CL· Yeonkyoung So, Jongmin Kim, Sungmok Jung, Gyuseong Lee, Sangho Kim, Jongyeon Park, Joonhak Lee, Seho Pyo, Gyeongje Cho, Seorin Kim, Jisoo Kim, Suyoung Park, Hyunji M. Park, Yelim Ahn, Yeongho Seo, Jaejin Lee·· 3 小时前AI 评分34
KBS：面向基础模型评估的韩语基准套件
KBS: A Korean Benchmark Suite for Foundation Model Evaluation
AI 导读
KBS 韩语基准套件包含 Ko-ARC、Ko-GSM8K、Ko-EQ-Bench、Ko-WinoGrande、Ko-LAMBADA、Ko-IFEval 六个基准、9,396 道题。该套件评测韩国本土模型、多语言开源模型与闭源 API 模型，结果显示韩语基准分数受任务构造、评分规则、提示词与模型后训练影响，评估需同时报告分数与取得该分数的设置。
来源：arXiv cs.CL · arxiv.org