跳到正文
原文
AGI Hunt· vanstriendaniel·· 3 小时前AI 评分27

Hugging Face datatrove 发布 v0.10.1,修复空文档崩溃与 skip 参数失效

Hugging Face datatrove 发布 0.10.1,修复空文档崩溃与 skip 参数失效

AI 导读

Hugging Face 数据处理库 datatrove 发布 v0.10.1,修复统计模块遇空文档、纯空白或纯标点文档抛 ZeroDivisionError 的崩溃,DocStats、LineStats、ParagraphStats 的比率与均值记为 0.0,GopherRepetitionFilter 也不再崩溃。

来源:AGI Hunt · agihunt.info