AGI Hunt· Ready_Parking_5435·· 3 小时前AI 评分49
开源 PyTorch 优化器 ApexW：状态内存减半，大张量场景比 fused AdamW 快约 1.5 倍
开源 ApexW 优化器:状态内存减半,大张量场景比 fused AdamW 快 1.5 倍
AI 导读
开发者发布 PyTorch 优化器 ApexW，采用紧凑优化器状态与 Triton 执行路径，大张量负载下比 PyTorch fused AdamW 快约 1.5 倍，优化器状态内存约减半，适合常撞 OOM 的 LLM 微调。
来源：AGI Hunt · agihunt.info