AGI Hunt· Sauers_·· 4 小时前AI 评分24
架构小测验:残差流从 4096 翻倍到 8192,参数量会怎么变?
架构小测验:残差流从 4096 翻倍到 8192,参数量会怎么变?
AI 导读
Sauers_ 发布面向 LLM 从业者的推文小测验:把 Transformer 残差流维度从 4096 翻倍到 8192,层数、MLP、注意力头数等其余配置完全不变,模型参数量会如何变化。帖子本身未给出答案,评论区围绕注意力 QKV/输出投影、MLP、embedding 各组件参数量随 dmodel 的缩放关系展开讨论。
来源:AGI Hunt · agihunt.info