跳到正文

#多模态

今日 66 条
8月4日周二
7月30日周四
  1. Google DeepMind61

    Google DeepMind 发布 Gemini Robotics ER 2 机器人具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,负责与人类对话、理解物理世界并规划多步任务,再把运动执行交给底层 VLA 模型。

    推荐理由:官方给出 Gemini Robotics ER 2 相比 ER 1.6 和前沿模型在进度分类、时刻定位上的指标,读者可据此判断机器人具身推理的当前水平。

  2. Google DeepMind48

    Google 在 Google Flow Music 发布 Lyria 3.5,升级音乐性、歌词、人声与创作控制

    Google 在 Google Flow Music 上线最新音乐生成模型 Lyria 3.5,在音乐性、歌词、人声和创作控制四方面均有提升。新模型可生成更丰富复杂的旋律结构,歌词质量更高且提示词遵循与结构感知更好,人声更具表现力与情感、发音更准确。用户还可更便捷地控制输出节奏与时长,即日起可试用。

7月28日周二
  1. Google DeepMind66

    Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,由三款模型组成,让机器人实现全身控制、灵巧操作和多机器人协作。其中 Gemini Robotics ER 2 已上线 Google AI Studio 并在 Gemini Enterprise Agent Platform 私密预览,VLA 与端侧模型面向早期接入合作伙伴。

    推荐理由:从控制机器人上半身扩展到全身控制,并加入多机协作与端侧快速适配,可了解机器人基础模型的当前能力边界。

7月27日周一
7月15日周三
  1. HuggingFace Blog79

    Thinking Machines 发布开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 发布开源多模态模型 Inkling,总参数 975B、激活 41B,支持 1M 上下文并原生接收图像、音频和文本输入。同期推出 Inkling-Small(总参数 276B、激活 12B),采用与 Inkling 相同的架构。

    推荐理由:约 1T 参数的开源多模态模型,文章给出多个推理引擎的部署配置和基准对比,便于判断它能否落到现有工作流。

7月9日周四
  1. Google Research60

    Google Research 提出 SensorFM,用超一万亿分钟可穿戴数据训练通用健康模型

    Google Research 提出大型传感器基础模型 SensorFM,基于 500 万名同意参与者、超过一万亿分钟的无标签多模态可穿戴数据完成预训练。在来自三项研究、共 13985 名参与者、覆盖心血管、代谢、心理健康、睡眠、人口统计和生活方式六类的 35 项健康任务中,冻结编码器加线性探针在 34 项上优于人工特征监督基线。

    推荐理由:从超一万亿分钟无标签数据预训练的通用表征,读者可了解它如何在心血管、代谢、睡眠等多类健康任务间迁移。

7月8日周三
  1. Mistral AI49

    Mistral AI 发布 Robostral Navigate:8B 具身导航模型

    Mistral AI 发布 Robostral Navigate,一个仅用单个 RGB 相机的 8B 具身导航模型,在 R2R-CE validation unseen 上达到 76.6% 成功率。它完全不用 LiDAR 或深度传感器,成绩比最佳单相机方案高 9.7 分,比使用深度或多相机的最佳系统高 4.5 分。模型完全基于仿真数据自研训练,可泛化到轮式、足式与飞行机器人。

7月6日周一
  1. HuggingFace Blog48

    PRX Part 4:我们的数据策略

    PRX 系列第 4 篇披露其数据策略:预训练语料由公开与内部数据集混合构建,图像经 VLM 重新生成描述,供 7B 模型预训练使用。文本编码器从 T5Gemma 换成 Qwen3-VL 后改为训练中实时计算 text latents,吞吐损失约 3–4%,30 天训练约多 1 天。数据以 Lance 构建、MDS 流式训练,图像统一编码为 JPEG quality 92。

7月1日周三
6月23日周二
  1. Mistral AI63

    Mistral 发布 OCR 4 文档解析模型,支持边界框与块分类

    Mistral 发布 OCR 4 文档解析模型,在文本提取之外新增边界框、块类型分类和逐页逐词置信度,支持 170 种语言并可单容器自托管部署。该模型在 OlmOCRBench 得 85.20、OmniDocBench 得 93.07,人类偏好评估中平均胜率 72%。

    推荐理由:OCR 4 把边界框、块分类和置信度一并输出,读者可据此判断结构化文档解析在检索与智能体流程里的接入方式。

6月13日周六
6月9日周二
  1. Google DeepMind77

    Google DeepMind 发布 Gemma 4 12B 无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款无编码器的多模态模型,可在笔记本本地运行。该模型把视觉输入改为单次矩阵乘法的轻量嵌入模块,并去掉音频编码器,将原始音频信号投影到与文本 token 相同的维度,是 Gemma 4 系列首款支持原生音频输入的中等规模模型。

    推荐理由:Gemma 4 12B 用无编码器架构让视觉和音频直接进入 LLM,性能接近 26B MoE 而内存占用不到一半。

5月18日周一
5月17日周日
  1. Google DeepMind65

    Google 将 SynthID 内容验证扩展到搜索,并公布 Chrome、Pixel 与 Cloud 侧更新

    Google 把 SynthID 的图像、视频和音频验证扩展到搜索,并将在未来几周进入 Chrome,该能力此前已在 Gemini 应用中累计使用 5000 万次。

    推荐理由:在生成媒体普及的背景下,SynthID 已为超 1000 亿件图像视频加上水印,读者可了解各产品验证入口的分批上线节奏。

5月16日周六
  1. Google DeepMind79

    Google DeepMind 发布 Gemini 3.5 系列,首发 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,首个版本 3.5 Flash 今天起在 Gemini 应用、Google Search 的 AI Mode、Google Antigravity 和 Gemini API 开放,3.5 Pro 已在内部使用并计划下月推出。

    推荐理由:原文用 Terminal-Bench 2.1、MCP Atlas 等基准与 4 倍输出速度做横向对比,读者可据此判断速度与智能体能力能否兼得。

4月30日周四
  1. Google DeepMind63

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 发布 AI co-clinician 医疗研究计划,探索在医生监督下由 AI 智能体参与患者问诊的三元照护模式。研究在 98 条真实初级保健查询中有 97 条无关键错误,并在 140 项问诊技能评估中于 68 项达到或超过初级保健医生水平,专家医生整体表现仍更好。

    推荐理由:文章以 140 项问诊技能的盲评对比,呈现 AI co-clinician 与初级保健医生的能力差异和仍待改进之处。

4月3日周五
3月29日周日
  1. Google DeepMind65

    Google DeepMind 用 Gemini 重新构想 AI 时代的鼠标指针

    Google DeepMind 公布由 Gemini 驱动的 AI 指针研究,让指针不仅能识别指向的对象,还能理解用户意图,并用指向加语音替代长提示词。团队提出维持工作流、边指边说、支持「这个」和「那个」、把像素变成可操作实体四条交互原则。

    推荐理由:DeepMind 把指针变成能理解所指内容的 Gemini 入口,并已落地 Chrome,读者可据此观察交互从写提示词转向指向与语音。

3月25日周三
  1. Google Research42

    Google Research 的 S2Vec 如何学习城市语言,映射现代世界

    Google Research 提出自监督框架 S2Vec,用 S2 Geometry 分区加特征栅格化把建成环境转为多层图像,再以掩码自编码(MAE)学习通用嵌入向量。在社会经济预测中,S2Vec 在零样本地理外推任务(如 US-wide 人口密度、收入中位数)上常为最佳单一模型,与图像嵌入做多模态融合后优于单模态。树覆盖、海拔等环境任务仍有待改进。

3月18日周三
3月17日周二
  1. Mistral AI73

    Mistral AI 发布 Mistral Small 4,统一推理、多模态与编码智能体能力

    Mistral AI 发布 Mistral Small 4,称其是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的编码智能体能力统一进单一模型的 Mistral 模型,以 Apache 2.0 许可开源。

    推荐理由:Mistral Small 4 把推理、多模态与编码能力合进一个开源模型,读者可据此评估单模型替代多模型组合的部署取舍。

12月17日周三
12月3日周三
8月1日周五
5月7日周三
3月17日周一
3月7日周五
  1. Mistral AI67

    Mistral 发布 OCR 模型与 API Mistral OCR

    Mistral 发布 Mistral OCR,一款以图像和 PDF 为输入、按顺序交错输出文本与图片的 OCR API,并已成为 Le Chat 文档理解的默认模型。

    推荐理由:官方列出与 Google Document AI、Azure OCR、Gemini 等模型的横向基准对比,可用于判断文档解析模型的当前水位。