FinePhrase 入选 COLM 2026 口头报告，万亿 Token 实验破解合成预训练数据设计

FinePhrase 研究入选 COLM 2026 Oral Spotlight，其超 1 万亿 token 的受控实验系统比较了合成预训练数据的设计维度。来自 Hugging Face 等机构的团队发现，结构化输出格式（表格、数学题、FAQ、教程）一致优于精选网页基线和既有合成方法，生成器模型超过 1B 参数后不再带来额外收益。