Meta 发布上下文语言模型 CLM 并开源
Meta 联合华盛顿大学、MIT 等机构提出上下文语言模型 CLM,让模型把上下文当作可自由编辑的文件,而非只能追加的对话记录。实验显示,同算力下 Agent 任务分数提升 65%,多仓库 Agent 任务表现显著改善,同时可节省 21.5% 算力并提升 11.4% 准确率。官方论文与代码已开源。
Meta 联合华盛顿大学、MIT 等机构提出上下文语言模型 CLM,让模型把上下文当作可自由编辑的文件,而非只能追加的对话记录。实验显示,同算力下 Agent 任务分数提升 65%,多仓库 Agent 任务表现显著改善,同时可节省 21.5% 算力并提升 11.4% 准确率。官方论文与代码已开源。
PersonaDose 校准描述条件 FLAS 控制器,实现人格特质表达的分级控制。在 Llama-3.1-8B、Qwen3-8B、Gemma-3-4B 上,核心特质表达较 contrastive activation addition 提升 33.2、18.3、17.8 分。七个已训练特质上,平均目标误差为 4.7-6.2 分。
Llama、Qwen、Gemma 和 Mistral 在 LLM 组合任务中呈现一致的逐层表示机制。中间层使用基于其中两个 token 推断关系的联合表示,后层使用涉及全部三个 token 的联合表示;限制到因果相关联合表示还能提升下一 token 预测准确率。另一些 token 关系虽具几何结构,却在下一 token 预测中不具因果作用。
一套生成式 AI 流水线用 LLM 从 SEC 10-K 文件中抽取财务数据,针对影响超 70% 公司、占半数总市值的结构化数据缺失问题。研究评测 Llama-3 8B、Qwen-2.5 14B 与 Llama-3.3 70B,在现金及现金等价物、短期债务、信贷额度与研发四类不同结构复杂度的变量上比较抽取质量。
Meta Reality Labs 的 LSRM 获 ECCV 2026 最佳论文荣誉提名。它用稀疏 Transformer 扩大上下文窗口,可处理比以往多 20 倍的 3D 物体 token,并靠由粗到细流水线和 3D 感知空间路由恢复几何纹理。PSNR 较此前 SOTA 提升超 2.4 dB,LPIPS 改善超 40%。
Meta Reality Labs 发布 Large Sparse Reconstruction Model(LSRM),获 ECCV 2026 最佳论文荣誉提名,通过扩展 transformer 上下文窗口提升前馈式 3D 重建质量。
论文识别出 stale-document poisoning(过期文档投毒)现象,即模型在不检索时能答对,检索到过期证据后答案反而被覆盖。作者构建覆盖医学、法律、软件和平台政策的 317 个已验证知识反转基准,在 12 个模型上测试:过期检索让 Llama 30%、Qwen 37% 的回答翻转,加上显式遵循文档的指令后分别升至 66% 和 75%。
在从教师到学生的知识蒸馏中,提示词模板选择会显著削弱学生模型已有的安全对齐:聊天模板比非聊天模板让模型更顺从有害查询。该现象在 LLaMA、Gemma 和千问(Qwen)三个模型家族及多个安全基准上一致。非聊天模板蒸馏更能保留学生模型内部表示,聊天模板蒸馏则导致更大的表示偏移。
Institute for Law & AI 研究者提出「radical optionality」,主张政府避免过度监管、提前建设机构与法律授权。建议包括透明度与报告要求、审计机制、举报人保护、评估能力,并加大对 AISI(英国)与 CAISI(美国)的资助。Meta 与 KAIST 的 Neural Computers 提出在习得运行时状态中统一计算、记忆与 I/O 的神经计算机。