跳到正文
原文
AGI Hunt· RobertTLange·· 2 小时前AI 评分42

hashed n-gram 值嵌入助力 12×1024 GPT 刷新 30M 数据规模纪录至 3.2115

hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115

AI 导读

RobertTLange 的 Track 3(30M 数据规模)纪录 PR 已并入 qlabs-eng/noise:12 层×1024 维 GPT 用 hashed n-gram value embeddings 把损失降到 3.21149,低于原纪录 3.4095。

来源:AGI Hunt · agihunt.info