AGI Hunt· RobertTLange·· 2 小时前AI 评分42
hashed n-gram 值嵌入助力 12×1024 GPT 刷新 30M 数据规模纪录至 3.2115
hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115
AI 导读
RobertTLange 的 Track 3(30M 数据规模)纪录 PR 已并入 qlabs-eng/noise:12 层×1024 维 GPT 用 hashed n-gram value embeddings 把损失降到 3.21149,低于原纪录 3.4095。
来源:AGI Hunt · agihunt.info