跳到正文
原文
AGI Hunt· josh_wills·· 5 小时前AI 评分45

Datology 开源 Zephon:确定性流式数据加载器解决 GPU 数量不一致难题

Datology 开源 Zephon:确定性流式 dataloader 解决 GPU 数量不一致难题

AI 导读

Datology AI 开源数据加载器 Zephon,按需即时、确定性地处理数据,解决同一数据管线在 16 卡与 8 卡 GPU 上跑出的评测结果不一致问题。它还免去管线每次改动都要重新物化整个数据集的麻烦,节省存储与时间。该工具面向大规模训练数据实验,团队内部已在数千次数据实验中验证。

来源:AGI Hunt · agihunt.info