随笔分类 - AI
摘要：编码器-解码器模型 编码器-解码器模型（也称为序列到序列模型）同时使用 Transformer 架构的编码器和解码器两个部分。在每个阶段，编码器的注意力层可以访问输入句子中的所有单词，而解码器的注意力层只能访问位于输入中将要预测单词前面的单词。 这些模型的预训练可以使用训练编码器或解码器模型的方式来
阅读全文
摘要：“解码器”模型 “解码器”模型仅使用 Transformer 模型的解码器部分。在每个阶段，对于给定的单词，注意力层只能获取到句子中位于将要预测单词前面的单词。这些模型通常被称为自回归模型。 “解码器”模型的预训练通常围绕预测句子中的下一个单词进行。 这些模型最适合处理文本生成的任务。 该系列模型的
阅读全文
摘要：“编码器”模型 编码器模型仅使用 Transformer 模型的编码器部分。在每次计算过程中，注意力层都能访问整个句子的所有单词，这些模型通常具有“双向”（向前/向后）注意力，被称为自编码模型。 这些模型的预训练通常会使用某种方式破坏给定的句子（例如：通过随机遮盖其中的单词），并让模型寻找或重建给定
阅读全文
摘要：Transformers 是如何工作的？ 在本节中，我们简要了解 Transformer 模型的架构。 一点 Transformers 的发展历史 以下是 Transformer 模型（简要）历史中的一些关键节点： Transformer 架构 于 2017 年 6 月提出。原本研究的重点是翻译任务
阅读全文
摘要：Transformers 能做什么？ 在本节中，我们将看看 Transformer 模型可以做什么，并使用 🤗 Transformers 库中的第一个工具： pipeline() 函数。 👀 看到那个右上角的在 Colab 中打开（Open in Colab）的按钮了吗？单击它就可以打开一个包含
阅读全文
摘要：自然语言处理 在深入了解 Transformer 模型之前，让我们快速回顾一下自然语言处理是什么以及它为什么如此重要。 什么是自然语言处理？ NLP 是语言学和机器学习交叉领域，专注于理解与人类语言相关的一切。NLP 任务的目标不仅是单独理解单个单词，而且是能够理解这些单词的上下文。 以下是常见 N
阅读全文
摘要：本章简介 欢迎来到🤗 Hugging Face 课程 本课程将教你如何使用 Hugging Face 生态系统的库进行自然语言处理（NLP）。这些库包括 🤗 Transformers、🤗 Datasets、🤗 Tokenizers 和 🤗 Accelerate，以及 Hugging Fac
阅读全文
摘要：课程简介 欢迎来到 Hugging Face 课程！本小节将指导你搭建工作环境。如果你刚开始学习本课程，我们建议你先阅读 第一章 ，然后返回此处搭建环境，以便你亲自尝试和实现代码。 本课程涉及的所有库均以 Python 包形式提供，因此在这里我们将展示如何搭建 Python 环境并安装所需要的库。
阅读全文
摘要：转自：https://www.cnblogs.com/miraclepbc/p/14385632.html 图像语义分割形象化描述 图像语义分割是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。 目标：一般是将一张RGB图像（height*width*3）或是灰度图（height*widt
阅读全文
摘要：转自：https://www.cnblogs.com/miraclepbc/p/14385623.html 图像定位的直观理解 不仅需要我们知道图片中的对象是什么，还要在对象的附近画一个边框，确定该对象所处的位置。 也就是最终输出的是一个四元组，表示边框的位置 图像定位网络架构 可以将图像定位任务看
阅读全文
摘要：转自：https://www.cnblogs.com/miraclepbc/p/14378634.html 网络结构 因为主要是学习pytorch，具体原理没有深究。如果将来搞CV的话，可能再回来搞懂吧。 网络结构大概就是，用多个卷积核提取特征，然后将提取到的特征拼接在一起 网络结构如下： 实现思路
阅读全文
摘要：转自：https://www.cnblogs.com/miraclepbc/p/14378379.html 数据集描述 总共200200类图像，每一类图像都存放在一个以类别名称命名的文件夹下，每张图片的命名格式如下图： 数据预处理 首先分析一下我们在数据预处理阶段的目标和工作流程 获取每张图像以及对
阅读全文
浙公网安备 33010602011771号