跳到正文
原文
AGI Hunt· allen_ai·· 4 小时前AI 评分43

AI2 字节化方法可低成本改造 Qwen3 与 Llama3

AI 导读

AI2 用“字节化”配方通过短程附加训练,把 Qwen 3 8B 与 Llama 3 8B 转成字节级模型 Bwen 8B 和 Blama 8B,并保留核心权重。新增组件将字节分组为变长 patch 供模型处理,输出再扩展回字节级以预测下一字节。评测显示两者性能均接近源模型,Bwen 8B 在综合评测套中表现相当。

来源:AGI Hunt · agihunt.info