跳到正文
热点事件持续更新

ULMFiT:奠定预训练+微调范式

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

2018 年 1 月,Jeremy Howard 与 Sebastian Ruder 发表 ULMFiT,提出先在大规模通用文本上预训练语言模型、再针对具体任务微调的两阶段做法。据该报道,这一方法在多数测试数据集上把错误率降低 18%–24%,并且仅用 100 条标注样本就能追平用 100 倍数据从头训练的模型。2026 年 10 月 6 日,AGI Hunt 发文回顾 Jeremy Howard 从 Kaggle 冠军到提出 ULMFiT 的历程,重申其作为“预训练+微调”范式起点的意义。目前没有新的事实性进展,事件仍是对 ULMFiT 历史贡献的回顾与传播。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月6日
  1. AGI Hunt
    从 Kaggle 冠军到 ULMFiT:Jeremy Howard 如何改写语言模型训练范式

    Jeremy Howard 与 Sebastian Ruder 于 2018 年 1 月发表 ULMFiT,先在大规模通用文本上预训练语言模型、再针对具体任务微调,在多数测试数据集上把错误率降低 18%–24%,仅用 100 条标注样本就能追平用 100 倍数据从头训练的模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。