随笔分类 - PyTorch
摘要：介绍 在之前我们介绍和使用了 BERT 预训练模型和 GPT 2 预训练模型，分别进行了文本分类和文本生成次。我们将介绍 XLNet 预训练模型，并使用其进行命名实体识别次。 知识点 XLNet 在 BERT 和 GPT 2 上的改进 XLNet 模型结构 使用 XLNet 进行命名实体识别次 谷歌
阅读全文
摘要：介绍 在本次将学习另一个有着优秀表现的预训练模型：GPT 2 模型，以及使用它进行文本生成任务实践。 知识点 GPT 2 的核心思想 GPT 2 模型结构详解 GPT 2 进行文本生成 OpenAI 在论文 "Improving Language Understanding by Generativ
阅读全文
摘要：BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 "BERT" 全称为
阅读全文
摘要：一、介绍 内容 “基于神经网络的机器翻译”出现了“编码器+解码器+注意力”的构架，让机器翻译的准确度达到了一个新的高度。所以本次主题就是“基于深度神经网络的机器翻译技术”。 我们首先会尝试使用“编码器＋简单解码器”的构架，来观察普通编码器 解码器构架能够取得的效果。然后会尝试“编码器＋带有注意力机制
阅读全文
摘要：一、介绍 内容 使用 RNN 进行序列预测 今天我们就从一个基本的使用 RNN 生成简单序列的例子中，来窥探神经网络生成符号序列的秘密。 我们首先让神经网络模型学习形如 0^n 1^n 形式的上下文无关语法。然后再让模型尝试去生成这样的字符串。在流程中将演示 RNN 及 LSTM 相关函数的使用方法
阅读全文
摘要：一、介绍 内容 将接触现代 NLP 技术的基础：词向量技术。 第一个是构建一个简单的 N Gram 语言模型，它可以根据 N 个历史词汇预测下一个单词，从而得到每一个单词的向量表示。 第二个将接触到现代词向量技术常用的模型 Word2Vec。在实验中将以小说《三体》为例，展示了小语料在 Word2V
阅读全文
摘要：一、介绍 内容 使机器能够“举一反三”的能力 知识点 使用 PyTorch 的数据集套件从本地加载数据的方法 迁移训练好的大型神经网络模型到自己模型中的方法 迁移学习与普通深度学习方法的效果区别 两种迁移学习方法的区别 二、从图片文件中加载训练数据 引入相关包 下载网盘链接：https://pan.
阅读全文
摘要：一、介绍 实验内容 内容包括用 PyTorch 来实现一个卷积神经网络，从而实现手写数字识别任务。 除此之外，还对卷积神经网络的卷积核、特征图等进行了分析，引出了过滤器的概念，并简单示了卷积神经网络的工作原理。 知识点 使用 PyTorch 数据集三件套的方法 卷积神经网络的搭建与训练 可视化卷积核
阅读全文
摘要：一、介绍 知识点 使用 Python 从网络上爬取信息的基本方法 处理语料“洗数据”的基本方法 词袋模型搭建方法 简单 RNN 的搭建方法 简单 LSTM 的搭建方法 二、从网络中抓取并处理数据 引入相关包 下载数据 网盘链接：https://pan.baidu.com/s/1Jg5NPxc9L M
阅读全文
摘要：预处理实验数据 读取数据 下载数据 网盘链接：https://pan.baidu.com/s/1n_FtZjAswWR9rfuI6GtDhA 提取码：y4fb 对于类型变量的处理 对于数值类型变量进行标准化 将数据集进行分割 构建神经网络模型 手动编写用 Tensor 运算的人工神经网络 调用PyT
阅读全文
浙公网安备 33010602011771号