跳到正文
原文
AGI Hunt· najoungkim·· 3 小时前AI 评分27

研究者谈评测集透明度:组合性评测仍存数据污染隐患

研究者谈评测集透明度:组合性评测仍存数据污染隐患

AI 导读

研究者 najoungkim 表示,业界在评测方向的投入值得肯定,但组合性评测的数据透明度问题仍未解决,仍存数据污染隐患。她提到此前做 RExBench 时就试图预防污染,因为该评测严格要求所涉研究想法新颖,一旦数据泄露会直接破坏评测有效性。她坦言深度投入这一方向后有些心灰意冷,但乐见业界的持续努力。

来源:AGI Hunt · agihunt.info