跳到正文
原文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分27

V4.1 训练无需密集预热调参:算法更复杂但信息流更简

AI 导读

teortaxesTex 与 bookwormengr 讨论认为,v4.1 无需任何 dense warmup 调整即可平滑训练;其架构在算法最小描述长度上更复杂,却带来更简单的信息流,去掉的是实现最简单的 HCA,CSA 仍在,因此更值得继续 scale up。v4.1 的 prefill 计算成本与 KV cache 占用也更低。

来源:AGI Hunt · agihunt.info