有何m不可 - 博客园

2025年8月27日

摘要：创建自己的数据集有时，不存在现有的合适的数据集适用于你构建 NLP 应用，因此你需要自己创建。在本节中，我们将向你展示如何创建一个由 GitHub issues 组成的的语料库，这些 issues 通常用于跟踪 GitHub 仓库中的错误或功能。该语料库可用于各种应用场景，包括：探索解决 iss 阅读全文

posted @ 2025-08-27 10:40 有何m不可阅读(74) 评论(0) 推荐(0)

HuggingFace课程-5. 🤗 Datasets库大数据？🤗 Datasets 应对有方！

摘要：大数据？🤗 Datasets 应对有方！如今，处理 GB 级别的数据集已不再罕见，特别是如果你打算从头开始预训练像 BERT 或者 GPT-2 这样的 Transormer 模型。在这种情况下，甚至加载(load) 数据集都可能成为挑战。例如，用于预训练 GPT-2 的 WebText 语料库阅读全文

posted @ 2025-08-27 10:30 有何m不可阅读(26) 评论(0) 推荐(0)

2025年8月26日

HuggingFace课程-5. 🤗 Datasets库分割和整理数据

摘要：分割和整理数据大多数情况下，你处理的数据并不能直接用于训练模型。在本节中，我们将探索🤗 Datasets 提供的各种功能，用于清洗你的数据集。分割和整理我们的数据与 Pandas 类似，🤗 Datasets 提供了多个函数来操作 Dataset 和 DatasetDict 对象。我们在第阅读全文

posted @ 2025-08-26 19:22 有何m不可阅读(53) 评论(0) 推荐(0)

HuggingFace课程-5. 🤗 Datasets库如果我的数据集不在 Hub 上怎么办？

摘要：如果我的数据集不在 Hub 上怎么办？你已经知道如何使用 Hugging Face Hub 中的数据集，但你往往会发现自己需要处理在自己的笔记本电脑或者网络上的数据集。在本节中，我们将展示如何使用🤗 Datasets 加载不在 Hugging Face Hub 中的数据集。使用本地和远程数据集阅读全文

posted @ 2025-08-26 18:26 有何m不可阅读(28) 评论(0) 推荐(0)

HuggingFace课程-5. 🤗 Datasets库本章简介

摘要：本章简介我们在第三章第一次体验了🤗 Datasets 库，了解到微调模型主要有三个步骤：从 Hugging Face Hub 加载数据集。使用 Dataset.map() 预处理数据。加载和计算指标（特征）。但这仅仅触及了🤗 Datasets 库能做的事情的冰山一角！在本章，我们将阅读全文

posted @ 2025-08-26 18:22 有何m不可阅读(22) 评论(0) 推荐(0)

HuggingFace课程-4. 分享你的模型和标记器 Part 1 完结！

摘要： Part 1 完结！这是课程第一部分的结尾！第 2 部分将在 11 月 15 日与大型社区活动一起发布，更多信息请点击这里。你现在应该能够针对文本分类问题（单个或成对句子）对预训练模型进行微调，并将结果上传到模型中心。为确保你掌握了第一部分的内容，你应该针对你感兴趣的想法进行尝试（不一定是英阅读全文

posted @ 2025-08-26 17:45 有何m不可阅读(14) 评论(0) 推荐(0)

HuggingFace课程-4. 分享你的模型和标记器构建模型卡片

摘要：构建模型卡片模型卡片是一个配置文件，可以说与模型存储库中的模型和 tokenizer 文件一样重要。它包含了模型的核心定义，确保了社区成员可以复现模型的结果，并提供一个其他成员可以在这个模型基础上构建他们的组件的平台。记录训练和评估过程并提供有关使用的数据以及已完成的预处理和后续处理的足够信息，阅读全文

posted @ 2025-08-26 17:44 有何m不可阅读(14) 评论(0) 推荐(0)

HuggingFace课程-4. 分享你的模型和标记器分享预训练模型

摘要：共享预训练模型接下来，我们将探索把预训练模型分享到 🤗 Hub 最便捷的方法。我们将一同研究一些工具和功能，它们可以简化直接在中心上分享和更新模型的流程。我们鼓励所有训练模型的用户通过与社区共享来做出贡献——即使是在特定数据集上训练的模型的分享，也能帮助他人，节省他们的时间和计算资源，并提供一阅读全文

posted @ 2025-08-26 17:41 有何m不可阅读(40) 评论(0) 推荐(0)

HuggingFace课程-4. 分享你的模型和标记器使用预训练模型

摘要：使用预训练模型模型中心使选择合适的模型变得简单，只需几行代码即可在任何下游库中使用它。让我们来看看如何使用这些模型，以及如何将模型贡献到社区。假设我们正在寻找一种可以执行掩码填充（mask filling 又称完形填空）的 French-based（法语）模型。我们选择 camembert-b 阅读全文

posted @ 2025-08-26 17:06 有何m不可阅读(13) 评论(0) 推荐(0)

HuggingFace课程-4. 分享你的模型和标记器 The Hugging Face Hub

摘要： The Hugging Face Hub 我们的主网站——— Hugging Face中心是一个集发现、使用及贡献最新先进模型与数据集为一体的中心平台。这里汇聚了超过 10,000 个公开可用的各种领域的模型。我们将在本章节专注探讨这些模型，并在第五章节深入讨论数据集。 Hub 中的模型不仅限于� 阅读全文

posted @ 2025-08-26 17:04 有何m不可阅读(23) 评论(0) 推荐(0)

gongzb

公告