PyTorch 性能分析第三部分:剖析 attention 各后端实现
Hugging Face 博客发布 PyTorch 性能分析系列第三部分,用 profiler 轨迹逐一对比朴素 attention、in-place 掩码以及 SDPA 的 math、efficient、flash 和 cuDNN 四种后端实现。
推荐理由:逐层对比四种 attention 后端的 profiler 轨迹,提供先做预期再验证这一可迁移的性能排查方法。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face 博客发布 PyTorch 性能分析系列第三部分,用 profiler 轨迹逐一对比朴素 attention、in-place 掩码以及 SDPA 的 math、efficient、flash 和 cuDNN 四种后端实现。
推荐理由:逐层对比四种 attention 后端的 profiler 轨迹,提供先做预期再验证这一可迁移的性能排查方法。
Hugging Face 表示 vLLM 的 transformers 建模后端现已在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。对比覆盖 Qwen3 4B 单卡、32B 张量并行、235B FP8 MoE 数据加专家并行三种部署,模型只需加 --model-impl transformers 即可启用,且仍可用于训练。
推荐理由:文章给出 transformers 后端与 vLLM 原生实现在三种 Qwen3 模型上的吞吐对比,便于了解免移植推理的实现路径。
LeRobot 发布 v0.6.0,围绕机器人学习闭环引入可想象未来的世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、奖励模型 API(lerobot.rewards)以及部署 CLI lerobot-rollout。
推荐理由:从世界模型策略到奖励模型、部署 CLI 与六套仿真基准,这篇发布说明勾勒出机器人学习闭环的工具链全貌。
Hugging Face 与 SkyPilot 联合推出新的 SkyPilot 存储后端 store: hf,用户用单个 hf:// URL 加上已有的 HF_TOKEN,即可把 Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地集群上运行。
推荐理由:把数据存在 Hugging Face、算力放到任意云,读者可了解跨云读取为何不再产生出网费用。