AGI Hunt· mangahomanga·· 4 小时前AI 评分41
4B 模型加 8K 上下文堆算力反而更差,Nous Research Hermes 提出上下文推理新思路
4B 模型加 8K 上下文堆算力反而更差,Hermes 提出上下文推理新思路
AI 导读
Nous Research 的 Hermes 团队发现,4B、8K 上下文窗口模型堆更多测试时算力,性能不升反降。团队认为跨上下文窗口扩展不只靠行内推理,更依赖被 benchmark 严重低估的上下文推理:何时委派任务、摘要保留什么、如何继续推理。Hermes 组合多个简单想法训练这种能力,实现灵活的测试时扩展。
来源:AGI Hunt · agihunt.info