arXiv cs.CL· Sarah Pan, Ali Behrouz·· 4 小时前AI 评分37
Titan-Llama:为预训练 LLM 加装外部神经记忆模块
Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules
AI 导读
Titan-Llama 是一种后训练方法,可为预训练注意力模型加装分层记忆架构,在测试时更新参数而无需从零训练新模型。在 Llama-3.2-1B-Instruct 上,QuALITY 准确率由 23.87% 升至 40.51%,LongHealth 由 14.50% 升至 40.75%。
来源:arXiv cs.CL · arxiv.org