跳到正文
热点事件持续更新

Antoine Chaffin:评估盲建,嵌入需排消歧块

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Antoine Chaffin 提出,没有评估就是盲建,而做好评估本身很难,需要大量努力才能摆脱常见偏差、评估新能力。被其引用的 @n0riskn0r3ward 用 voyage-context-3 做基准测试后提出:在长文档场景下,模型不应只对答案块给出高排序,还要对消歧上下文块高排序,这样搜索 agent 只需读取文档中相关部分,而不必逐页阅读。该测试者已向 Perplexity 团队分享基准结果。目前报道未给出基准的具体指标、数据规模或 Perplexity 方面的回应。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. AGI Hunt
    Antoine Chaffin:没有评估就是盲建,上下文嵌入模型需对消歧上下文块也高排序

    Antoine Chaffin 强调没有评估就是盲建,做好评估很难,需大量努力才能摆脱常见偏差、评估新能力。被引用的 @n0riskn0r3ward 用 voyage-context-3 做基准测试后提出,长文档不仅要对答案块高排序,还要对消歧上下文块高排序,使搜索 agent 只读文档相关部分而非每一页。他已向 Perplexity 团队分享基准结果。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。