AGI Hunt· jjusko20·· 2 小时前AI 评分39
从零后训练 Yandex AliceAI-80B,作者将开源 GGUF 与训练内核
从零后训练 Yandex AliceAI-80B,作者将开源 GGUF 与训练内核
AI 导读
Reddit 用户 jjusko20 在 Yandex 开源的 AliceAI-80B-A3B 基座上从零做 instruct 后训练,训练即将完成。方法是用自建合成蒸馏数据集做 SFT,平均 loss 逐 epoch 稳步下降,曲线异常源于词表大小与各 epoch token 数差异。
来源:AGI Hunt · agihunt.info