跳到正文
原文
AGI Hunt· lhoestq·· 10 小时前AI 评分29

Hugging Face Datasets 5.1 补充更新:流式数据集新增功能并修复 shuffle 分片 bug

Datasets 5.1 补充更新:流式数据集新功能并修复 shuffle 分片 bug

AI 导读

Hugging Face Datasets 5.1 补充更新为流式(streaming/iterable)数据集带来新功能,并修复了 shuffle 流式数据集时分片数量(number of shards)不正确的 bug,该修复由 @yuchenwang03 贡献。对依赖流式加载大规模数据的用户来说,这是一处实用修复。

来源:AGI Hunt · agihunt.info