跳到正文
原文
arXiv cs.CL· Donggyun Kim, Jack Lu, Chanwoo Kim, Mengye Ren, Seunghoon Hong·· 9 天前AI 评分43

HyperThink:用文本到参数超网络实现高效推理

HyperThink: Text-to-Parameter Hypernetworks for Efficient Reasoning

AI 导读

HyperThink 提出文本到参数方法:轻量超网络读取问题并预测 LLM 少量参数更新,把推理计算摊销为一次查询条件化更新。向量量化解码器将更新约束到有限可复用模式,测试时一次前向即可输出分步解答,省去中间思考链并大幅减少 token 用量。在数学与通用推理任务上改善了准确率-延迟权衡的低延迟区间,接近非思考模式时增益最大。

来源:arXiv cs.CL · arxiv.org