跳到正文
原文
arXiv cs.CL· Sarah Pan, Ali Behrouz·· 4 小时前AI 评分37

Titan-Llama:为预训练 LLM 加装外部神经记忆模块

Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules

AI 导读

Titan-Llama 是一种后训练方法,可为预训练注意力模型加装分层记忆架构,在测试时更新参数而无需从零训练新模型。在 Llama-3.2-1B-Instruct 上,QuALITY 准确率由 23.87% 升至 40.51%,LongHealth 由 14.50% 升至 40.75%。

来源:arXiv cs.CL · arxiv.org