AGI Hunt· burny_tech·· 4 小时前AI 评分38
JEPA 预训练接 GRPO 强化学习:两个开源 checkpoint 公开完整配方
AI 导读
作者公开「JEPA→GRPO」两阶段管线的 stage-1 checkpoint 与完整配方,含两个开源模型。Qwen2.5-Math-1.5B-Instruct 在约 3.2 万条已验证数学 CoT 轨迹上做 JEPA 预训练,400 步即收敛至 cos≥0.90,再用于普通 GRPO 初始化。
来源:AGI Hunt · agihunt.info