跳到正文
原文
AGI Hunt· AKAMA199·· 4 小时前AI 评分47

MemT 1.0 开源:293B 记忆原生 MoE 把记忆写进前向传播

293B 记忆原生 MoE MemT 1.0 开源:记忆写进前向传播内部

AI 导读

MemT 1.0 开源,这是 293B 参数的记忆原生 MoE 架构,将对话历史持续压缩进模型内部持久记忆状态,通过 memory attention 在标准前向传播中读写与更新。它无需外挂向量库、梯度更新或 agent 编排;自有内部多轮编码评测显示其对早期指令的保持能力显著优于基线,但尚无公开榜单成绩。36B 和 293B 权重已上线 Hugging Face,可自托管实验。

来源:AGI Hunt · agihunt.info