Hugging Face Datasets 数据集加载处理库
一行代码加载 Hugging Face 上的公开数据集，并高效清洗和处理
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理，可能有错。产品团队可以认领后修改。 认领这个产品
这个项目只有源代码，需要会编程才能用。
- 星标
- 2.2万
- 复刻
- 3587
- 主要语言
- Python
- 许可证
- Apache-2.0
- 最近更新
复制安装指令（给 AI 编程工具）
粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里，回车就会开始安装。第一次复制前请先阅读风险提示。
这些文件由项目作者放在 GitHub 上，本站不开发、不托管这些软件，也不检测其代码；国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题
介绍
Datasets 是 Hugging Face 开源的 Python 数据集库，用来从 Hugging Face Hub 加载公开数据集或读取本地文件，并为模型训练和评估做预处理。它以 Apache Arrow 为存储后端，采用内存映射，处理比内存还大的数据时也不必一次性载入。
能做什么
- 一行代码加载 Hub 上的数据集，或读取 CSV、JSON、Parquet 等本地文件
- 用 map 等方法批量、并行地处理数据，结果自动缓存
- 流式读取大型数据集，并与 NumPy、Pandas、PyTorch 等格式互相转换
运行需要：Python，用 pip 或 conda 安装；从 Hub 加载数据需访问海外的 Hugging Face 服务，本地文件可直接处理。
这段介绍由 AI 根据项目的公开说明整理，可能有疏漏，以项目主页为准。
评测
0 条评测还没有评测。用过的话，来写第一条吧。
写评测