arXiv cs.CV· Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu·· 4 小时前AI 评分38
Memorizon:在上下文窗口之外训练世界模型
Memorizon: Training World Models Beyond Their Context Window
AI 导读
Memorizon 让流式世界模型突破上下文窗口限制进行训练:样本只对最后 k 个 chunk 打分,每个 chunk 按相机共视性检索 top-K latents,组成上限为 kK 的共享 bank。相比滑动窗口基线,该检索在所有 split 上提升重访一致性,跨度覆盖首次访问后再提升 24%–30%。用另一 episode 填充 bank 会使重访相关性下降 83%。
来源:arXiv cs.CV · arxiv.org