Google 推出 Vantage:用生成式 AI 模拟对话评估未来技能
Google 在 Google Labs 上线研究实验 Vantage,用生成式 AI 搭建多角色模拟对话,评估高中生与大学生面向未来的技能(批判性思维、协作、创造性思维)。
Google 在 Google Labs 上线研究实验 Vantage,用生成式 AI 搭建多角色模拟对话,评估高中生与大学生面向未来的技能(批判性思维、协作、创造性思维)。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这款面向机器人的推理模型增强了空间推理与多视角理解,并新增仪表读数能力。官方称其在指向、计数和任务成功检测上相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 有明显提升。
Google Research 提出 ConvApparel 数据集,用 4000+ 段、近 15000 轮服装购物人机对话量化并弥合 LLM 用户模拟器的真实感差距。
Google Research 提出基于情境判断测试(SJT)的框架,评估 25 个 LLM 的行为倾向与人类共识的对齐程度。结果显示两类差距:模型倾向会偏离人类标注共识,且在人类无共识时无法覆盖其意见分布。人类标注一致时大规模与前沿闭源模型接近满分,共识低于 90% 时停滞在 80% 出头。
Google DeepMind 发布 Gemma 4 开源模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,采用 Apache 2.0 许可。
推荐理由:原文列出四档尺寸、Arena 排名与 Apache 2.0 许可,便于判断本地部署和微调的硬件与授权取舍。
Google Research 的“Forest vs Tree”研究指出,AI 评测常用的每项 1–5 名标注者标准不足,往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示,最优配比取决于指标:多数投票准确率偏向增加条目,捕捉意见分布则需增加标注者;约 1,000 条总标注即可实现高可复现性,模拟器已在 GitHub 开源。
Google DeepMind 公布由 Gemini 驱动的 AI 指针研究,让指针不仅能识别指向的对象,还能理解用户意图,并用指向加语音替代长提示词。团队提出维持工作流、边指边说、支持「这个」和「那个」、把像素变成可操作实体四条交互原则。
推荐理由:DeepMind 把指针变成能理解所指内容的 Gemini 入口,并已落地 Chrome,读者可据此观察交互从写提示词转向指向与语音。
Google 发布 Vibe Coding XR 工作流,将 Gemini 与基于 Web 的 XR Blocks 框架结合,把自然语言直接转成具备物理感知的 Android XR 应用,耗时低于 60 秒。
Google 推出 TurboQuant,一种零精度损失的压缩算法,可同时压缩 KV cache 并加速向量搜索。它先用 PolarQuant 随机旋转向量完成主体压缩,再用 1 bit 的 QJL 消除残差误差,TurboQuant 将在 ICLR 2026 展示。
Google Research 提出自监督框架 S2Vec,用 S2 Geometry 分区加特征栅格化把建成环境转为多层图像,再以掩码自编码(MAE)学习通用嵌入向量。在社会经济预测中,S2Vec 在零样本地理外推任务(如 US-wide 人口密度、收入中位数)上常为最佳单一模型,与图像嵌入做多模态融合后优于单模态。树覆盖、海拔等环境任务仍有待改进。
Google Research 在 The Check Up 公布医疗 AI 多项进展,其中与 Fitbit 合作的 Personal Health Agent(PHA)研究发现,模拟协作医疗团队的 PHA 比单任务健康应用更能支持长期健康。
Google 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项论文,分别评估 AI 乳腺癌筛查系统的独立性能及其作为第二读片人嵌入双读流程的效果。
推荐理由:两项研究给出了AI作为第二读片人的性能数据与部署细节,可供评估AI嵌入既有人工复核流程的可行性与难点。
Google 与康奈尔大学合作,用 67 道高温超导专家级问题评测 6 个 LLM,NotebookLM 和自建 RAG 系统表现最佳。被评测的还有 GPT-4o、Perplexity、Claude 3.5 和 Gemini Advanced Pro 1.5;NotebookLM 在视角平衡、全面性与证据支撑上得分最高,但最不简洁。论文发表于 PNAS,封闭系统使用 1,726 篇来源。
Google 在 Flood Hub 上线城市山洪预报,用新的 AI 方法可提前 24 小时预测城市山洪风险。该方法用 Gemini 分析公开新闻报告以确认洪灾地点和时间,据此构建 Groundsource 历史山洪事件数据集用于训练与评估,模型采用含 LSTM 的 RNN 架构,当前空间分辨率为 20x20 公里。
Google 推出 Groundsource,用 Gemini 从多语言新闻报道中抽取洪水事件,并开放首个城市山洪数据集,包含 260 万条记录、覆盖 150 多个国家、时间跨度从 2000 年至今。
Google Research 与 Beth Israel Deaconess Medical Center 合作,在真实门诊流程中开展 AMIE 对话式诊断 AI 的前瞻性单中心可行性研究,100 名成年患者就诊前通过安全网页链接与 AMIE 进行文本问诊,全程由医生视频监督,未触发任何安全中止。
推荐理由:研究以盲评方式对比 AMIE 与初级保健医生的鉴别诊断和管理计划质量,为对话式医疗 AI 的真实落地提供参照。
Google Research 发布 WAXAL 开放语音数据集,覆盖 27 种撒哈拉以南非洲语言,面向超 1 亿使用者,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时转写自然语音的 ASR 数据和超 565 小时高保真录音的 TTS 数据。采集工作自 2021 年起由非洲高校与社区组织主导、Google 提供方法指导,Google 表示将继续扩充语种。
TensorFlow 2.20 发布,tf.lite 模块将弃用,端侧推理开发迁移至独立仓库 LiteRT,新 API 提供 Kotlin 和 C++ 版本。LiteRT 面向 NPU 和 GPU 硬件加速,为 NPU 提供统一接口,并通过零拷贝硬件缓冲减少内存拷贝。
TensorFlow 2.19 已发布,LiteRT 的 C++ API 有所调整,tfl.Cast op 运行时内核新增 bfloat16 支持,并停止发布 libtensorflow 包。tf.lite.Interpreter 已给出弃用警告,改指向 ai_edge_litert.interpreter,并将在 TF 2.20 中删除。
TensorFlow 博客发文介绍开源教材 MLSysBook.AI,把机器学习系统工程的五个环节与 TensorFlow 生态工具逐一对齐。
TensorFlow 2.18 发布,支持 NumPy 2.0,并带来 LiteRT 仓库、Hermetic CUDA 与 CUDA 更新。TFLite 代码库将迁移至 LiteRT,完成后不再发布 TFLite 二进制版本。二进制包新增计算能力 8.9 的 CUDA kernel,最低支持 Pascal 架构。
TensorFlow 2.17 发布,为 compute capability 8.9 GPU 新增专用 CUDA 内核,提升 RTX 40 系列、L4、L40 性能。
XNNPack 为 TensorFlow Lite 的 Fully Connected 和 Convolution 2D 算子加入动态范围量化支持,CPU 推理性能较 fp32 基线提升 4 倍。
TensorFlow 2.16 发布,Keras 3 成为默认版本,Windows 上 CPU wheel 改用 Clang 17 编译,并支持 Python 3.12。
TensorFlow GNN 1.0(TF-GNN)发布,这是一个经过生产验证、可大规模构建图神经网络(GNN)的库,支持在 TensorFlow 中建模训练并从大型数据存储抽取输入图。
TensorFlow 发布 Linux x86_64 平台热修复版 2.15.0.post1,解决 2.15.0 因 tensorrt 依赖引发的安装失败。该版本从 pip install tensorflow[and-cuda] 安装方式中移除 tensorrt Python 包依赖,此前用户会收到安装错误或改而装上 2.14。
TensorFlow Lite 的 XNNPack 后端在 ARM CPU 上启用半精度(FP16)推理,浮点模型端侧推理性能提升 2 倍,现已正式可用。
TensorFlow 2.15 发布,Linux 上新增通过 pip install tensorflow[and-cuda] 安装 NVIDIA CUDA 库依赖的可选方式,CUDA 升级至 12.2。
Google 将于 12 月 7 日 9:30 至 13:00 PT 线上举办第三届年度 Women in ML Symposium,需提前 RSVP 报名。议程覆盖生成式 AI 最新进展、隐私保护 AI、驱动模型的加速器与 ML 框架,以及 ML 在多个行业的实际应用,并为初学者到资深从业者分设不同层级的场次。Google Health、Nvidia、Adobe 等机构的行业人士将参与分享。
借助 TensorFlow Lite 的 Flutter 插件,此前用 TensorFlow 训练并转为 TFLite 的强化学习棋盘游戏 Plane Strike 被移植到 Flutter,可在 Android 和 iOS 上运行。
People of AI 播客第二季回归,由 Ashley Oldacre 与新搭档 Luiz Gustavo Martins 主持,每周更新一集,本季主题聚焦生成式 AI。
由 Google 与 Tryolabs 合作开发的开源 Python 库 Temporian 面向机器学习时序数据,用于预处理与特征工程。文章以虚构网店的 sales.csv 交易记录为例,用 EventSet 容器及 moving_sum、add_index 算子计算 7 天滚动销售额,再用 TensorFlow Decision Forests 训练周销售额预测模型。
TensorFlow v2 通过 DTensor 原生支持分布式 FFT,分片张量可直接传入 tf.signal.fft2d 等既有算子,输出同样保持分片。8xV100 GPU 上的 10K*10K 实验中,两个本地 FFT 算子只占总耗时 15ms 的 3.6%,约为非分布式 fft2d 的 1/3,其余时间主要耗在 ncclAllToAll 数据重排上。
TensorFlow Lite 的 Flutter 插件已正式迁移到 TensorFlow 官方 GitHub 仓库并发布,由 Google 团队直接维护。插件已更新至最新版 TensorFlow Lite,新增实时摄像头目标检测等示例应用,支持移动端、嵌入式、Web 和边缘设备,桌面端支持仍在开发中。
TensorFlow 团队用 Simpleperf 剖析并优化 TFLite 内存 arena 的初始化过程,tensor 分配开销从运行时占比 49.9% 降到 11%,示例模型运行时缩短 25%。
TensorFlow 2.13 与 Keras 2.13 已发布,TensorFlow 2.13 首次提供 Apple Silicon wheels,Keras V3 保存格式成为 .keras 扩展名文件的默认格式。
Google Research 健康 AI 团队展示如何用 TensorFlow Lite 在手机上运行孕龄与胎位评估模型,让只接受几小时培训、没有超声背景的人员通过盲扫协议采集视频就能得到与标准诊疗相当的预测结果。
Google 用 PaLM API 演示了 LLM 增强推荐系统的四条路径:对话式、序列、评分预测与嵌入向量推荐。对话式和序列推荐分别调用 PaLM API 的 Chat 与 Text 服务,评分预测则用 Text 服务为候选电影打分排序。
TensorFlow 发布新教程,演示如何用 dtreeviz 可视化并解释 TensorFlow Decision Forests 的决策树。教程以 Penguin、Abalone 数据集为例,展示每个决策节点如何切分特征域、叶子节点的样本分布,以及单个测试样本从根到叶的预测路径。dtreeviz 于 2018 年首次发布,是目前最流行的决策树可视化库。
Google 将于 2023 年 6 月 9 日美西时间 10:00-12:15 线上举办首届推荐系统开发者峰会,报名已开放。峰会由 Google 工程师主讲,覆盖 TensorFlow Recommenders、TensorFlow Ranking、TensorFlow Agents 等产品,并分享用 LLM 增强推荐系统、生成式检索等前沿研究。