热点事件持续更新
主机感知抓取策略优化LLM预训练数据
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月12日，arXiv cs.CL 刊出面向 LLM 预训练数据的 host 感知网页抓取策略研究。该研究提出，对每个 host 先采样少量页面，再重点抓取高分 host，以此分配抓取预算。结果显示，与均匀深度分配或按中心性分配相比，这一策略每次抓取获得的高质量页面数倍于前者。研究还发现，约一半的分类器分数差异出现在 host 之间；Common Crawl 采用 harmonic centrality 选择 host，相比随机排序收益有限，对某些分类器甚至更差。目前尚无后续报道或复现结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
新研究显示，先按 host 少量采样再集中抓取高分 host，高质量页面产出数倍于均匀或中心性分配。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CL面向 LLM 预训练数据的 host 感知网页抓取策略
LLM 预训练数据抓取研究显示，对每个 host 先采样少量页面、再重点抓取高分 host，每次抓取获得的高质量页面数倍于均匀深度或中心性分配。约一半的分类器分数差异出现在 host 之间，Common Crawl 用 harmonic centrality 选 host 相比随机排序收益有限，对某些分类器更差。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。