8TB 开放授权语料 Common Pile v0.1：EleutherAI 称开放数据仍在增长

EleutherAI 的 Stella Biderman 回应开放数据正在枯竭的担忧，称公开许可与公有领域数据总量仍在增长，因为每年新产生的数据更多。相关论文《The Common Pile v0.1》给出 8TB 开放授权预训练语料，覆盖论文、代码、书籍、百科、教育资源等 30 个来源，其中约 3.8TB 是 2020 年后创建的内容。