AGI Hunt· PMinervini·· 5 小时前AI 评分41
用 nanogpt 训练前 3% 的 checkpoint 做 benchmark 还藏 y 轴标签,被批学术不端
用 nanogpt 训练前 3% 做 benchmark 还藏 y 轴标签,被批学术不端
AI 导读
有人指责用 nanogpt 训练仅前 3% 进度的 checkpoint 做基准测试并隐藏图表 y 轴标签,属学术不诚实。被引原文指出,对比图发布于 fineweb 验证损失 5.0 nats 处,该损失值高到根本不在 nanogpt-small 训练曲线图内。此阶段大部分信号只是把低概率 token 的 logits 推向负无穷,真正的特征学习尚未开始,模型能力差异 largely 是噪声。
来源:AGI Hunt · agihunt.info