arXiv cs.CL· Shenbin Qian, David Samuel, Jind\v{r}ich Helcl, Andrey Kutuzov, Stephan Oepen·· 4 小时前AI 评分44
不知道如何评测时怎么评测？为基座语言模型 benchmark 选择可靠的评测设置
How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
AI 导读
研究把单调性、非随机性和排序一致性三项信号准则用作规范元度量，检验任务形式、上下文示例数量等 8 个评测设置维度。在早期预训练场景中，用 4 种语言的 80 个任务对比 26 个 2B 参数单语模型，并在 3 个 ≥7B 的更大 LLM 上做同样检验。结果显示多 prompt 等选择始终有用，而任务形式等选择是否更优取决于模型规模。
来源：arXiv cs.CL · arxiv.org