COLM 论文直指 softmax 梯度瓶颈，作者曾以新 LM head 破 nanogpt speedrun 纪录

研究者 Nathan 将在 COLM 会议上展示一篇关于 softmax 梯度瓶颈的论文，时间为周四 16:40。Yoav Artzi 转发推荐时补充，Nathan 曾用一种新的 LM head 短暂保持 nanogpt speedrun 纪录数小时，具体细节可到现场交流。