研究者称上下文塞满噪声对 LLM 是真实困难

AI 研究者 repligate 指出，当 LLM 的上下文被大量噪声和需跟踪信息填满时，对模型而言是「货真价实的困难」，并非叙事层面的说法。他与 @EpistemicHope 探讨人类休息为何有帮助、transformer 是否存在类似机制，并提出用信息论视角解释休息的价值。