HuggingFace Datasets：两行代码，搞定任何机器学习数据集

HuggingFace Datasets：两行代码，搞定任何机器学习数据集

datasets 在 GitHub 上已经拿到 21.5K Star 了。

HuggingFace 开源的这个库，专门解决机器学习里最磨人的一个环节：数据加载和预处理。467 种语言、覆盖文本图像音频视频、十几种文件格式，一个 load_dataset() 全搞定。

1、它解决了什么问题

做过 ML 实验的人都经历过：换个数据集就要重写一套加载逻辑。CSV 用 pandas，JSON 用 json.load，Parquet 又要换一套 reader。预处理脚本越积越多，最后自己都分不清哪个版本是可复现的。

Datasets 用一行代码把这层复杂性磨平了。不管数据存在 HuggingFace Hub 上还是本地磁盘，不管格式是 CSV、JSON、Parquet 还是图片音频，load_dataset() 出来都是统一的数据结构。底层基于 Apache Arrow 的内存映射机制，数据存在磁盘上，用到哪读到哪，处理超大规模数据时不会撑爆 RAM。

2、核心能力

加载只是第一步。Datasets 真正省时间的地方在预处理。

dataset.map(process_example) 这个接口背后是一套多进程并行处理引擎。传一个 num_proc=8，8 个 worker 同时跑处理函数。配合智能缓存，同样的数据不会重复处理两次，中间结果自动复用。

预处理完的数据可以无缝导出到 NumPy、Pandas、PyTorch、TensorFlow、JAX、Polars、Spark。Arrow 的内存布局直接零拷贝对接这些框架，不需要任何中间格式转换。

流式模式是应对超大规模数据的关键。设置 streaming=True 后数据边读边处理，不需要完整下载。引入 Xet 后端后流式读取速度提升了 100 倍，百 GB 级别的数据集在普通机器上也能跑起来。

3、不止文本

Datasets 原生支持文本、图像、音频、视频、PDF 和 NIfTI（3D 医学影像）。LibriSpeech 语音数据、ImageNet 图像数据、TikTok 短视频、PDF 文档、脑部 MRI 扫描，全用同一套 API 加载和处理。

在文本分类任务上写好的预处理流水线，拿到图像任务上几乎不用改。map() 是同一套逻辑，导出到 PyTorch DataLoader 也是同一套逻辑。

对于指令微调场景，Datasets 集成了 chat template 功能。对话消息列表通过 tokenizer.apply_chat_template() 在 map() 里一步转成 token id，省掉了手写模板拼接代码的步骤。

数据来源也很灵活。可以用 Hub 上已有的数万个公开数据集，可以读本地 CSV、Parquet、JSON 文件，也可以从 Python 字典、列表、Pandas DataFrame 甚至生成器直接构造 Dataset 对象。

4、适合哪些人用

• 做 NLP、CV、语音研究，需要快速在多个公开数据集上跑对比实验的人
• 做大规模预训练或指令微调，数据量大到磁盘装不下的团队
• 搭数据处理流水线，需要一套可复现、可缓存的预处理逻辑的 ML 工程师
• 需要用 FAISS 或 Elasticsearch 做数据检索和相似度搜索的场景

安装只需要 pip install datasets，按需加上 [audio]、[vision]、[torch] 等可选依赖即可覆盖对应格式。从第一个 load_dataset() 到跑通训练，用不了五分钟。