AGI Hunt· x_Raincandy_x·· 4 小时前AI 评分45
MacroStories:仅 19,969 参数 81KB 的语言模型也能写出有起承转合的完整故事
仅2万参数81KB的语言模型,也能写出有起承转合的完整故事
AI 导读
Reddit 用户 raincandy-u 发布 MacroStories,一个仅 19,969 参数(81 KB FP32)的语言模型,号称同类中最小。它隐藏维度 32、词表仅 378 token,用单个 decoder block 共享权重循环 4 次,比 1M 参数的 TinyStories 小约 50 倍。
来源:AGI Hunt · agihunt.info