跳到正文
原文
AGI Hunt· burny_tech·· 4 小时前AI 评分38

JEPA 预训练接 GRPO 强化学习:两个开源 checkpoint 公开完整配方

AI 导读

作者公开「JEPA→GRPO」两阶段管线的 stage-1 checkpoint 与完整配方,含两个开源模型。Qwen2.5-Math-1.5B-Instruct 在约 3.2 万条已验证数学 CoT 轨迹上做 JEPA 预训练,400 步即收敛至 cos≥0.90,再用于普通 GRPO 初始化。

来源:AGI Hunt · agihunt.info