AGI Hunt· Silver_Employ2617·· 2 小时前AI 评分45
无神经网络语言模型 MICA 开源,推理仅靠元胞自动机
AI 导读
推理时不含神经网络的 MICA 已开源,靠学习到的重写规则更新整数元胞网格读取输出,含字级模型 Flame-W(34 MB)和字节级模型 Ember(4.5 MB),浏览器 playground 可试玩。Flame-W 下一词 top-1 命中约 20.7%,Ember 损失约 1.86 bits/byte,但有效上下文仅约 4-8 字节,低于同数据上小 transformer 的 32 字节。
来源:AGI Hunt · agihunt.info