Qwen3-0.6B 靠数据工程刷平 MS MARCO

据 AGI Hunt 2026 年 10 月 14 日报道，一项段落排序研究显示，0.6B 参数的 Qwen3 无需改动模型架构、不使用自定义损失函数，也未采用交叉编码器蒸馏，就在 MS MARCO 段落排序任务上取得有竞争力的成绩。报道称增益主要来自数据侧：面向语料的继续预训练、严格的数据清洗、难负例挖掘、训练与推理分布对齐，以及 Model Soup 权重合并。相关效果在 BM25+重排、全库稠密检索、稠密检索+重排三种设定下均得到验证，显示亚十亿参数模型依靠数据工程也能逼近 SOTA。目前该工作仍处于公开报道阶段，后续进展有待观察。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。