arXiv cs.CL· Ke Wan, Chen Chen·· 3 小时前AI 评分35
RAMP：面向循环深度语言模型高效预填充的循环自适应混合精度
RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
AI 导读
RAMP（循环自适应混合精度）在循环深度早期使用低精度权重与激活计算、末端恢复高精度，以降低循环深度语言模型长上下文 prefill 的开销。分析表明量化误差随后续循环步数衰减，越早引入的量化计算影响越小；在最长 4K 上下文下，RAMP 于 NVIDIA H100 保持接近全精度的 prefill 质量，端到端首次 prefill 加速最高 1.16x，延迟降低 13.9%。
来源：arXiv cs.CL · arxiv.org