跳到正文

#部署/工程

今日 5 条
9月10日周四
  1. Mistral AI41

    Cloudera 与 Mistral 达成合作,为企业数据带来专用、主权 AI 智能

    Cloudera 与 Mistral 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中运行推理并保留完全控制权。企业还可在受控环境内用大量专有数据训练自定义模型,并以开放权重拥有数据和模型智能。Cloudera 平台承载着 30 exabytes 的客户管理数据。

  2. HuggingFace Blog60

    HF Jobs 上用 LoRA 跑异步 GRPO,500 步从 3 小时 27 分降到 53 分

    TRL v1.14 的 AsyncGRPOTrainer 已支持只训练 LoRA 适配器并把它同步到 vLLM,这篇实践在此基础上把训练与推理拆到不同机器上。训练器、两个 vLLM 副本各跑一个 HF Jobs,通过挂载同一个 Storage Bucket 传递适配器而不依赖 NCCL,中间的一个代理负责按 KV 前缀路由 rollout 并向所有副本广播适配器加载。

    推荐理由:这篇实践给出跨 Job 的 LoRA 异步 GRPO 配方与代理路由细节,其瓶颈定位方法可迁移到其他异步训练部署。

9月3日周四
9月1日周二
8月25日周二
  1. HuggingFace Blog67

    Gradio 推出 gr.Workflow,把 AI 管线变成可运行节点图与 REST API

    Gradio 内置的 gr.Workflow 把 AI 管线变成可运行的节点图,每个节点能单独运行并就地显示中间结果,同一张图同时是 REST API 和一键部署到 Hugging Face Spaces 的入口。

    推荐理由:Gradio 把多步 AI 管线做成可视化节点图,并自动生成 REST 接口与部署入口,读者可据此了解这套搭建方式。

8月21日周五
8月18日周二
  1. HuggingFace Blog40

    约束感知 GPU 分配器:同一集群利用率提升 33 个百分点,变的是分配顺序

    约束感知 GPU 分配器让相同硬件与同一批负载下的利用率最多提升 33 个百分点,优先加权产出最多提升 105%。五个竞争场景中,利用率从 52–85% 升至 72–88%,优先加权价值平均提升 52%,最高 105.1%。最强单例是 8 GPU 训练密集型负载,利用率由 53.6% 升至 87.0%,关键在于实时推理按需求曲线分配、批式任务按优先级跨整个调度周期放置。

8月11日周二
  1. HuggingFace Blog54

    NVIDIA 发布 Magpie TTS 多语言模型,扩展至 12 种语言

    NVIDIA 发布 Magpie TTS Multilingual,一款 364M 参数的开放权重语音合成模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语。官方数据显示 B200 单流首音频延迟 32ms,64 并发流下 TTFA 239ms、吞吐约 320 倍实时。模型提供 Hugging Face 开放权重与 NVIDIA NIM 生产部署,并可用 NeMo 微调发音和音色。

8月10日周一
8月6日周四
  1. Meta Engineering52

    Meta 公布广告排序多阶段序列建模架构与 LLM 式扩展规律

    Meta 公布广告排序的多阶段序列建模架构,把离线用户建模与在线排序解耦,并在真实广告流量上呈现出随算力对数线性增长的 LLM 式扩展规律。该架构用稠密 tokenization 与 target-aware 多头注意力融合稀疏特征和用户行为序列,让模型直接从数据学习特征交互,减少对手工特征的依赖。

7月30日周四
  1. HuggingFace Blog41

    GPU 管理:为什么闲置 GPU 正成为新的“停场飞机”

    企业 AI 的下一道真实约束已从模型智能转向 GPU 利用率:GPU 按日历小时计成本,产出却只按计算小时计。这与航空业靠飞机利用率决定生死的结构一致,自购 GPU 可把随 token 线性增长的 API 成本换成固定资本支出。但按峰值规模采购的集群在需求不持续时,满载 GPU 仍会浪费大量产能。

7月23日周四
7月16日周四
7月10日周五
7月8日周三
  1. HuggingFace Blog67

    vLLM 的 transformers 建模后端实现原生推理速度

    Hugging Face 表示 vLLM 的 transformers 建模后端现已在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。对比覆盖 Qwen3 4B 单卡、32B 张量并行、235B FP8 MoE 数据加专家并行三种部署,模型只需加 --model-impl transformers 即可启用,且仍可用于训练。

    推荐理由:文章给出 transformers 后端与 vLLM 原生实现在三种 Qwen3 模型上的吞吐对比,便于了解免移植推理的实现路径。

7月7日周二
  1. HuggingFace Blog62

    Hugging Face 与 SkyPilot 打通存储后端,用 hf:// 挂载 Hub 数据实现零出网费用跨云训练

    Hugging Face 与 SkyPilot 联合推出新的 SkyPilot 存储后端 store: hf,用户用单个 hf:// URL 加上已有的 HF_TOKEN,即可把 Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地集群上运行。

    推荐理由:把数据存在 Hugging Face、算力放到任意云,读者可了解跨云读取为何不再产生出网费用。

7月6日周一
6月27日周六
6月25日周四
  1. Google Research44

    Google 提出线性弹性缓存:Spanner 内存用量降 15.5%、TCO 降约 5%

    Google 提出线性弹性缓存,把页面淘汰建模为滑雪租赁问题,用轻量机器学习按访问模式给页面设定 TTL,在内存占用与缓存未命中之间做取舍。集成进 Spanner 生产服务器数月后,内存用量降低 15.5%,缓存未命中仅增 5.5%,总拥有成本(TCO)降低约 5%,且未命中的增加集中在取回成本较低的数据上,I/O 成本影响仅 0.5%。

6月24日周三
6月23日周二
  1. Mistral AI63

    Mistral 发布 OCR 4 文档解析模型,支持边界框与块分类

    Mistral 发布 OCR 4 文档解析模型,在文本提取之外新增边界框、块类型分类和逐页逐词置信度,支持 170 种语言并可单容器自托管部署。该模型在 OlmOCRBench 得 85.20、OmniDocBench 得 93.07,人类偏好评估中平均胜率 72%。

    推荐理由:OCR 4 把边界框、块分类和置信度一并输出,读者可据此判断结构化文档解析在检索与智能体流程里的接入方式。

6月11日周四
5月28日周四
4月27日周一
  1. Mistral AI52

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览版

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,用于把 AI 驱动的流程稳定投入生产。Workflows 基于 Temporal 的持久化执行引擎构建,提供持久化执行、可观测性和单行代码的人工审批,并针对 AI 负载扩展了流式处理、负载处理与可观测性;控制平面由 Mistral 托管,workers 部署在企业自己的 Kubernetes 环境。

3月31日周二
3月25日周三
3月18日周三
  1. Google Research72

    Google 与 NHS 合作在 Nature Cancer 发表两项 AI 乳腺癌筛查研究

    Google 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项论文,分别评估 AI 乳腺癌筛查系统的独立性能及其作为第二读片人嵌入双读流程的效果。

    推荐理由:两项研究给出了AI作为第二读片人的性能数据与部署细节,可供评估AI嵌入既有人工复核流程的可行性与难点。

  2. Mistral AI44

    Mistral AI 推出 Forge:为企业构建基于自有知识的前沿级模型

    Mistral AI 推出 Forge,一套让企业用自有专有知识训练前沿级模型的系统,覆盖预训练、后训练与强化学习,支持稠密与 MoE 架构。Forge 按 agent 优先设计,Mistral Vibe 等智能体可用自然语言完成微调、超参数搜索与数据合成。合作方包括 ASML、Ericsson、欧洲空间局、新加坡 HTX 与 Reply。

1月22日周四
10月24日周五
8月20日周三