AGI Hunt· vista8·· 2 小时前AI 评分49
殆知阁古文献数据集转 Markdown 开源,系统性修复已污染 AI 语料的错误
殆知阁古文献数据集转 Markdown 开源,并系统性修复已污染 AI 语料的错误
AI 导读
GitHub 上的「殆知阁」中国古代文献数据仓库将原 TXT 全部转为 Markdown 并加上 YAML 元数据,同时系统性纠错。该数据集已被大量研究机构用于 AI 训练,却存在繁简转换错误(如「记忆体」应为「内存」)、混入论坛内容和残留 HTML 脚本等问题,可能已污染中文古文语料。仓库收录佛藏、儒藏、道藏、四库全书、医藏、易藏等文献,并配套全文检索网站 daizhigie.org,持续更新。
来源:AGI Hunt · agihunt.info