跳到正文
原文
AGI Hunt· _reachsumit·· 3 小时前AI 评分38

Qwen3-0.6B 刷平 MS MARCO:靠数据工程与 Model Soup,不改架构

Qwen3-0.6B 刷平 MS MARCO:靠数据工程与 Model Soup,不改架构

AI 导读

0.6B 的 Qwen3 无需改动架构、自定义损失或交叉编码器蒸馏,即在 MS MARCO 段落排序上取得有竞争力的成绩。增益主要来自数据侧:面向语料的继续预训练、严格数据清洗、难负例挖掘、训练-推理分布对齐与 Model Soup 权重合并。在 BM25+重排、全库稠密检索、稠密检索+重排三种设定下均得到验证,显示亚十亿参数模型靠数据工程也能逼近 SOTA。

来源:AGI Hunt · agihunt.info