AGI Hunt· _reachsumit·· 6 小时前AI 评分45
Periscope 无需训练读超长文:9k 窗口等效 1M 上下文
Periscope 无需训练读超长文,9k 窗口等效 1M 上下文
AI 导读
Periscope 提出一种免训练推理方法,让冻结的 LLM 读取超出上下文窗口的长文本。该方法把 N 个文本块排成 K×K 网格,每次探测仅需约 √(s·c) 个 token,W 窗口可达 W²/c 长度。LongBench v2 上只读最优 K 块(约 9k token)即匹配同一模型 32k 到 1M 窗口的最佳读取结果,InfiniteBench 上比最佳窗口读取高 5 分。
来源:AGI Hunt · agihunt.info