跳到正文
原文
arXiv cs.CV· Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu·· 4 小时前AI 评分38

Memorizon:在上下文窗口之外训练世界模型

Memorizon: Training World Models Beyond Their Context Window

AI 导读

Memorizon 让流式世界模型突破上下文窗口限制进行训练:样本只对最后 k 个 chunk 打分,每个 chunk 按相机共视性检索 top-K latents,组成上限为 kK 的共享 bank。相比滑动窗口基线,该检索在所有 split 上提升重访一致性,跨度覆盖首次访问后再提升 24%–30%。用另一 episode 填充 bank 会使重访相关性下降 83%。

来源:arXiv cs.CV · arxiv.org