跳到正文

#部署/工程

今日 46 条
9月22日周二
9月21日周一
9月16日周三
  1. Apple Machine Learning Research46

    TS-DFM:以轨迹为教师、经能量导航蒸馏的少步离散流匹配

    TS-DFM 用能量导航替代离散流匹配训练中的盲随机跳步:轻量能量罗盘在每个中间点评估候选续写、选出最连贯的一支,且塑造仅在训练期进行,推理成本不变。在 170M 参数语言建模上,8 步学生模型的困惑度比 1024 步教师低 32%、速度快 128×,增益在多种源分布和三种规模递增的评估器上一致。其困惑度优于所有对比的离散生成基线,包括训练数据多 6× 或模型大 5× 的方法。

  2. Apple Machine Learning Research43

    面向智能体 LLM 系统的共享选择性持久记忆架构

    共享选择性持久记忆架构面向智能体 LLM 系统,只保留任务规范、数据 schema、工具配置与输出约束四类可复用上下文,工作区可按角色访问权限跨用户共享。在三个企业部署场景中任务完成率达 96%,高于无记忆的 79% 与保留完整历史的 71%。零 token 数据刷新免去重复更新的 LLM 重调用,任务耗时降低 14×;摘要驱动生成使单次调用 token 成本降低 97×。

9月15日周二
9月11日周五
9月10日周四
  1. Mistral AI41

    Cloudera 与 Mistral 达成合作,为企业数据带来专用、主权 AI 智能

    Cloudera 与 Mistral 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中运行推理并保留完全控制权。企业还可在受控环境内用大量专有数据训练自定义模型,并以开放权重拥有数据和模型智能。Cloudera 平台承载着 30 exabytes 的客户管理数据。

  2. HuggingFace Blog60

    HF Jobs 上用 LoRA 跑异步 GRPO,500 步从 3 小时 27 分降到 53 分

    TRL v1.14 的 AsyncGRPOTrainer 已支持只训练 LoRA 适配器并把它同步到 vLLM,这篇实践在此基础上把训练与推理拆到不同机器上。训练器、两个 vLLM 副本各跑一个 HF Jobs,通过挂载同一个 Storage Bucket 传递适配器而不依赖 NCCL,中间的一个代理负责按 KV 前缀路由 rollout 并向所有副本广播适配器加载。

    推荐理由:这篇实践给出跨 Job 的 LoRA 异步 GRPO 配方与代理路由细节,其瓶颈定位方法可迁移到其他异步训练部署。

9月3日周四
9月1日周二
8月29日周六
8月25日周二
  1. HuggingFace Blog67

    Gradio 推出 gr.Workflow,把 AI 管线变成可运行节点图与 REST API

    Gradio 内置的 gr.Workflow 把 AI 管线变成可运行的节点图,每个节点能单独运行并就地显示中间结果,同一张图同时是 REST API 和一键部署到 Hugging Face Spaces 的入口。

    推荐理由:Gradio 把多步 AI 管线做成可视化节点图,并自动生成 REST 接口与部署入口,读者可据此了解这套搭建方式。

8月21日周五
8月18日周二
  1. HuggingFace Blog40

    约束感知 GPU 分配器:同一集群利用率提升 33 个百分点,变的是分配顺序

    约束感知 GPU 分配器让相同硬件与同一批负载下的利用率最多提升 33 个百分点,优先加权产出最多提升 105%。五个竞争场景中,利用率从 52–85% 升至 72–88%,优先加权价值平均提升 52%,最高 105.1%。最强单例是 8 GPU 训练密集型负载,利用率由 53.6% 升至 87.0%,关键在于实时推理按需求曲线分配、批式任务按优先级跨整个调度周期放置。

8月11日周二
  1. HuggingFace Blog54

    NVIDIA 发布 Magpie TTS 多语言模型,扩展至 12 种语言

    NVIDIA 发布 Magpie TTS Multilingual,一款 364M 参数的开放权重语音合成模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语。官方数据显示 B200 单流首音频延迟 32ms,64 并发流下 TTFA 239ms、吞吐约 320 倍实时。模型提供 Hugging Face 开放权重与 NVIDIA NIM 生产部署,并可用 NeMo 微调发音和音色。

8月10日周一
8月6日周四
  1. Meta Engineering52

    Meta 公布广告排序多阶段序列建模架构与 LLM 式扩展规律

    Meta 公布广告排序的多阶段序列建模架构,把离线用户建模与在线排序解耦,并在真实广告流量上呈现出随算力对数线性增长的 LLM 式扩展规律。该架构用稠密 tokenization 与 target-aware 多头注意力融合稀疏特征和用户行为序列,让模型直接从数据学习特征交互,减少对手工特征的依赖。

7月30日周四
  1. HuggingFace Blog41

    GPU 管理:为什么闲置 GPU 正成为新的“停场飞机”

    企业 AI 的下一道真实约束已从模型智能转向 GPU 利用率:GPU 按日历小时计成本,产出却只按计算小时计。这与航空业靠飞机利用率决定生死的结构一致,自购 GPU 可把随 token 线性增长的 API 成本换成固定资本支出。但按峰值规模采购的集群在需求不持续时,满载 GPU 仍会浪费大量产能。

7月23日周四
7月16日周四
7月10日周五
7月8日周三
  1. HuggingFace Blog67

    vLLM 的 transformers 建模后端实现原生推理速度

    Hugging Face 表示 vLLM 的 transformers 建模后端现已在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。对比覆盖 Qwen3 4B 单卡、32B 张量并行、235B FP8 MoE 数据加专家并行三种部署,模型只需加 --model-impl transformers 即可启用,且仍可用于训练。

    推荐理由:文章给出 transformers 后端与 vLLM 原生实现在三种 Qwen3 模型上的吞吐对比,便于了解免移植推理的实现路径。

7月7日周二
  1. HuggingFace Blog62

    Hugging Face 与 SkyPilot 打通存储后端,用 hf:// 挂载 Hub 数据实现零出网费用跨云训练

    Hugging Face 与 SkyPilot 联合推出新的 SkyPilot 存储后端 store: hf,用户用单个 hf:// URL 加上已有的 HF_TOKEN,即可把 Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地集群上运行。

    推荐理由:把数据存在 Hugging Face、算力放到任意云,读者可了解跨云读取为何不再产生出网费用。