跳到正文
热点事件持续更新

Marin开源Delphi套件并详解scaling law公式

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月27日,Marin 作者 dlwh 在 scaling law 讨论线程中详解简化拟合公式 loss = E + A·compute^(-alpha),其中 E 是 loss 的渐近下限,A 是尺度,alpha 是斜率。dlwh 指出,难点在于小模型 loss 仍远高于下限时,需要同时估计这个下限本身;做法是用同一 recipe 训练一梯子小模型、测 held-out loss,并在不同训练进度拟合曲线来预测大模型全程轨迹。同日,Marin 团队发布首个开放 scaling 套件 Delphi,包含 scaling recipe、在 TPU Research Cloud 上训练的模型套件,以及用小模型预测大模型的 scaling law;团队称外推 300 倍预测 loss 误差仅 0.2%。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展
  1. 10月27日 01:59 · 1 篇报道
    Marin作者详解scaling law拟合公式
    AGI Hunt:Marin 作者详解 scaling law 公式:难点在小模型阶段估渐近线
  2. 10月27日 01:59 · 1 篇报道
    Marin开源Delphi缩放套件,外推300倍误差0.2%
    AGI Hunt:Marin 开源 scaling 套件 Delphi,外推 300 倍预测 loss 误差仅 0.2%

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    Marin 开源 scaling 套件 Delphi,外推 300 倍预测 loss 误差仅 0.2%

    Marin 团队发布首个开放 scaling 套件 Delphi,包含 scaling recipe、在 TPU Research Cloud 上训练的模型套件,以及用小模型预测大模型的 scaling law。

  2. AGI Hunt
    Marin 作者详解 scaling law 公式:难点在小模型阶段估渐近线

    Marin 作者 dlwh 在 scaling law 线程中给出简化拟合公式 loss = E + A·compute^(-alpha),其中 E 是 loss 的渐近下限,A 是尺度,alpha 是斜率。难点在于小模型 loss 仍远高于下限时,需要同时估计这个下限本身。做法是用同一 recipe 训练一梯子小模型、测 held-out loss,并在不同训练进度拟合曲线来预测大模型全程轨迹。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。