2025年3月4日
从文件到块: 提高 Hugging Face 存储效率
摘要： Hugging Face 在 Git LFS 仓库 中存储了超过 30 PB 的模型、数据集和 Spaces。由于 Git 在文件级别进行存储和版本控制，任何文件的修改都需要重新上传整个文件。这在 Hub 上会产生高昂的成本，因为平均每个 Parquet 和 CSV 文件大小在 200-300 MB 阅读全文
posted @ 2025-03-04 16:48 HuggingFace 阅读(548) 评论(0) 推荐(3)