跳到正文

#数据/训练

今日 5 条
今天9月30日周三
  1. AGI Hunt22

    用户故意用 DeepSeek 网页版让 Whale 模型蒸馏自己的工作数据

    用户 teortaxesTex 刻意使用 DeepSeek 网页版,让其中的 Whale 模型「收割」自己的数据,包括他在其他付费模型上产出的工作成果,并称这种做法为「众包蒸馏」。他的理由是数据反正会被拿去训练,不如主动贡献,让模型能力「从所有人之手回到所有人」。这既是对大厂数据训练惯例的戏谑,也反映了部分重度用户对蒸馏机制的默认与利用。

  2. AGI Hunt38

    研究者 mathemagic1an 提出免人类偏好的 RL 思路:用代码复现 YouTube 讲解视频

    数学研究者 mathemagic1an 提出一种无需人类偏好数据的 RL 训练思路:让模型只用代码去复现 YouTube 上的讲解视频。复现质量可由视觉模型自动打分验证,成本极低,绕开人工标注,训练出的风格天然接近 YouTube 教育娱乐类内容。他猜测前沿实验室可能已经在跑这个方法的变体。

  3. Wired AI65

    Anthropic 称 Claude 发现类 CRISPR 酶系统,专家质疑其意义

    Anthropic 于 9 月 23 日宣布,其大语言模型 Claude 通过约 950 个并行智能体在 21.5 小时内从基因组数据库中识别出一类与 CRISPR 相似的酶系统,并将其命名为 ART。该系统存在于感染细菌的巨型噬菌体中,相关技术报告尚未经过同行评审。多名基因编辑研究者对其意义持保留态度,指出同一种逆转录酶此前已被发现,它能否成为有用的基因编辑工具仍需实验验证。

9月29日周二
  1. Wired AI53

    Timnit Gebru 认为 AI 不存在存在性威胁

    在 Wired 的访谈中,AI 研究者 Timnit Gebru 表示 AI 并不构成存在性威胁,认为这一叙事不只是分心,而且有害。她把这种叙事追溯到资助 Anthropic 早期融资并资助 METR 等机构的人群,称其为监管俘获的一部分,并援引 Lina Khan 提出的欺骗性营销、数据透明度与数据工人劳动剥削等现有法律本该管辖的事项。

  2. AGI Hunt27

    X 用户 xeophon 质疑「开源模型靠对抗性蒸馏获得能力」论调难自洽

    X 用户 xeophon 质疑「开源模型能力主要靠对抗性蒸馏获得」的说法:若该论断成立,开源模型为何表现能超过闭源模型,且拒绝率更低甚至没有?他补充称自己曾直播强化学习运行过程、开源了部分环境,仍有人不相信其结果,暗示相关能力来源争议更多是立场问题而非证据问题。

  3. SiliconANGLE:AI27

    Agentic AI 给身份与数据库安全带来新压力,Oracle 谈应对之策

    Oracle 云工程集团副总裁 Johnnie Konstantas 表示,agentic AI 让智能体及其子智能体可携带个人权限访问数据、甚至对工作流执行操作,身份控制因此必须尽量统一且无处不在。Oracle 已将 agentic AI 方案集成进安全产品组合,并在最新版 AI 数据库中推出面向 agentic AI 的能力,帮助客户在不牺牲数据安全的前提下推进 AI 创新。

9月22日周二
9月16日周三
9月12日周六
9月6日周日
8月25日周二
8月12日周三
8月8日周六
8月4日周二
7月29日周三
6月30日周二
  1. HuggingFace Blog39

    为什么 AI 专业化不可避免:Dharma AI 解读 LeCun 等《AI Must Embrace Specialization》论文

    Dharma AI 撰文解读 Goldfeder、Wyder、LeCun 与 Shwartz-Ziv 的论文,该论文主张 AI 专业化不可避免。文章引述 1997 年 Wolpert 与 Macready 的优化理论证明:没有算法能在所有问题上占优,通用性不构成性能优势,任务集无限扩张时每任务资源趋近于零。进化生物学与市场竞争给出同一预测,论文称通用性在实践中是神话。

6月29日周一
6月26日周五
6月20日周六
  1. Dwarkesh Patel:Podcast & Blog57

    Dwarkesh 分析 AI 的数据黑洞与人类样本效率差距

    Dwarkesh Patel 在博客文章中提出,近年 AI 能力的提升主要来自数据规模和算力的扩大,而不是训练样本效率的进步。他给出对比称,前沿模型训练使用 10 万亿到 100 万亿 token,而人类从出生到成年约见 2 亿 token,差距接近百万倍;即便参数量无限增加,所需数据也只减少约 10 倍。

5月18日周一