面向 LLM 预训练数据的 host 感知网页抓取策略

LLM 预训练数据抓取研究显示，对每个 host 先采样少量页面、再重点抓取高分 host，每次抓取获得的高质量页面数倍于均匀深度或中心性分配。约一半的分类器分数差异出现在 host 之间，Common Crawl 用 harmonic centrality 选 host 相比随机排序收益有限，对某些分类器更差。