Anthropic 开源 jacobian-lens:把内部激活线性映射为可读 token
Anthropic 开源论文配套代码 jacobian-lens,已获约 2k star。Jacobian lens 把任意层、任意位置的残差流向量线性传输到末层基,再用模型自身 unembedding 解码为排序的词表 token,读出内部激活「倾向于让模型说什么」。
Anthropic 开源论文配套代码 jacobian-lens,已获约 2k star。Jacobian lens 把任意层、任意位置的残差流向量线性传输到末层基,再用模型自身 unembedding 解码为排序的词表 token,读出内部激活「倾向于让模型说什么」。
PrismQuant 提出量化器感知的旋转框架,将激活主特征空间与非对称分组 INT4 的常量组子空间对齐。在 W4A4KV4 下 Llama-3.2-3B 达到 SOTA,Llama-3.1-70B 困惑度 3.85、平均零样本准确率 72.46%,仅比全精度低 0.22 个百分点。
KAIST 提出面向开放词汇语义分割(OVSS)的偏好引导适配框架,用不同提示模板间的「提示分歧」取代像素级标注,从跨模板不确定性高的区域挖掘局部偏好查询。方法采用 Region-Localized Preference Optimization(RLPO)配合区域外一致性正则,在 MESS 基准上让多种 OVSS 骨干获得一致提升,无需任何像素级标注,且在偏好噪声下依然有效。代码已开源。
CrossTimeEdit 将历史街景生成重构为编辑任务,以 FLUX.2 [Klein] 4B 为起点经 SFT 与在线 RL 训练,整体性能较预训练基线提升 17.12%。其配套 VIGOR-his 数据集覆盖三大洲 11 座城市,含 43,653 个位置级四元组。模型以 Flow-GRPO 与 GDPO 优化 IA、BP、QP 三项奖励,代码、数据集与模型权重已公开。
OTT3R 是一个知识蒸馏框架,把 959M 参数的 π³ 蒸馏成 102M 参数的学生模型,压缩 9.4×、推理最高快 7×,训练算力仅为 VGGT 的 1.6%。
PowerZooJax 是基于 JAX 的电力系统强化学习基准,覆盖发电、输电、配电、分布式能源与数据中心微电网 5 个约束马尔可夫决策过程任务。它把潮流计算、经济调度、市场出清和设备动态改写为 JAX 计算图,使训练与评估全程留在 GPU 上,相比 CPU 仿真显著加速。该开源基准还对策略回报、安全违规和分布外压力场景提供标准化评估。
新加坡国立大学团队发布 MaLiang-Harness,用可执行程序驱动 MLLM 图像/视频生成,并首次定义 Program-to-Visual(P2V)差距。
研究团队发布 VLANeXt Family,基于 500+ 控制实验系统重访视觉-语言-动作(VLA)模型的设计空间,提炼出 12 条构建强 VLA 的实用配方。
论文《Harness Optimization for Agentic Multi-Reference Image Generation》的官方实现 AutoRef 已在 GitHub 开源(KuOnoda/AutoRef),主题是以智能体方式优化多参考图像生成。该项目由 Reddit 用户从 arXiv 发现,适合关注图像生成与 agent 结合方向的人跟进。
Self-Play Search Distillation(SPSD)通过棋盘游戏自对弈中的 MuZero 类网络搜索生成超人类合成数据,并把搜索记录转成思维链,为大语言模型提供环境接地监督。在 Qwen3-4B-Base 上,六个数学基准的平均分从 24.1 升至 36.6,未见过的游戏胜率从 15% 升至 45%。该方法仅用自对弈搜索记录训练,即可迁移到数学推理。
arXiv 论文《Focusing Condition》提出推理时即插即用的自对比引导方法 SCS,通过遮蔽条件得到无条件嵌入,再用它引导多头自注意力计算,提升 LLM 条件文本嵌入质量。该方法无需额外数据或微调,推理时仅多一次多头自注意力计算。在聚类、语义文本相似度(STS)和三元组对齐数据集上验证,可叠加现有 prompt 方法并全面提升性能,代码已开源。
研究用一次前向计算读取 argmax p(. | t, t),把语言模型对自身重复 token 的映射画到整个词表。非固定点部分按源 token 配对消除基数混杂后,模型家族归属准确率达 0.8333(12 个模型对 19 个模型池,随机 0.1389),固定点部分为 0.5833。
G²PTQ 提出统一的大语言模型训练后量化框架,在全局监督的块级目标下融合一阶与二阶信息,并在量化每个 Transformer 块前刷新梯度与 Hessian 估计。它引入 trust-region 缩放机制约束梯度步长,防止权重更新爆炸。在多种模型族和位宽上,G²PTQ 与全精度模型的对齐优于 SOTA 基线。
SEA-CLIP-Tiny 是参数量不足 50M 的多语言文本-视觉嵌入模型,面向东南亚语言,用 CLIP-KD 式框架结合区域数据筛选与多语言教师引导。在 7 种东南亚语言上,其平均检索表现在受评学生模型中最佳,R@1、R@5、R@10 分别为 12.9%、31.5%、42.2%。
用 LLM 向英语、荷兰语、中文 BabyBabelLM 语料注入词级与句级语码切换后再预训练小型 decoder-only Transformer,可让平行文本表征(尤其跨书写系统)趋于对齐。按词级语码切换→句级语码切换→单语文档的课程训练,模型在 BabyLM 评测套件上优于未使用该数据的基线。代码、数据与模型已公开。
Google Research 发布 WAXAL 开放语音数据集,覆盖 27 种撒哈拉以南非洲语言,面向超 1 亿使用者,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时转写自然语音的 ASR 数据和超 565 小时高保真录音的 TTS 数据。采集工作自 2021 年起由非洲高校与社区组织主导、Google 提供方法指导,Google 表示将继续扩充语种。