臭咸鱼

摘要： 本文为作者学习李宏毅机器学习课程时参照样例完成homework4的记录。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过RNN实现文本情感分类(Text Sentiment Classification)。 数据集描述 阅读全文

摘要： 1层LSTM神经元的架构 根据上述内容，你可能看不出LSTM与RNN有什么关系，接下来具体介绍LSTM在RNN中的应用。 假设我们现在有一些LSTM（下图中白色部分）作为神经元，每个LSTM的memory cell里都存了一个scalar值（下图中红框中内容），把这些scalar连接起来就组成了1个 阅读全文

摘要： LSTM即Long Short-term Memory。 基本概念 前几篇文章提到的RNN都比较简单，可以任意读写memory，没有进一步对memory进行管理。现在常用的memory管理方式是LSTM。正如其名，LSTM是比较长的短期记忆，-是在short和term之间。前几篇提到的RNN在有新的 阅读全文

摘要： 在Slot Filling中，输入是1个word vector，输出是每个word的label，输入和输出是等长的。 然而，RNN还可以实现多对1、多对多… Many to One Many to One：输入是1个vector sequence，输出是1个vector Sentiment Anal 阅读全文

摘要： RNN的损失函数 仍然以Slot Filling为例，如下图所示。 对于1个word$xi$，RNN输出1个one-hot编码的vector \(y^i\)，求$yi$和对应label的交叉熵损失（Cross Entropy Loss），将多个word的loss求和即为RNN的损失函数。需要注意的是 阅读全文

摘要： Slot Filling 比如在订票系统中，输入“Arrive Taipei on November 2nd”这样一个序列，我们设置几个slot(槽位)，希望算法能够将关键词“Taipei”放入Destination这个slot，将"November"和"2nd"放入到达时间Time of Arri 阅读全文

摘要： 术语（Terminology） Aggregation Aggregation是Convolution在GNN中的推广。Aggregation就是在某一个layer中用某node及其neighbor的feature得到下一个layer中该node的feature。 Readout Readout有点 阅读全文

摘要： 本文为作者学习李宏毅机器学习课程时参照样例完成homework3的记录。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过CNN实现食物图片分类，数据集已提供 数据集描述 11个图片类别，训练集中有9866张图片，验证集中 阅读全文

摘要： 在PyTorch入门：使用PyTorch搭建神经网络LeNet5一文中，我们已经使用PyTorch实现了一个简单的神经网络LeNet5，本文将基于PyTorch使用LeNet5和CIFAR10实现图片分类模型的定义、训练和测试的全过程，代码(有详细注释)如下： import torch import 阅读全文

摘要： 前言 在本文中，我们基于PyTorch构建一个简单的神经网络LeNet5。 在阅读本文之前，建议您了解一些卷积神经网络的前置知识，比如卷积、Max Pooling和全连接层等等，可以看我写的相关文章：李宏毅机器学习课程笔记-7.1CNN入门详解。 通过阅读本文，您可以学习到如何使用PyTorch构建 阅读全文

摘要： GNN的用处 分类（Classification） 比如，有很多不同的化学分子，将其表示成图作为输入，用GNN判断其是否会导致突变，这就是一个有监督分类问题。 生成（Generation） 比如，我们需要开发针对新冠病毒的新药，我们可以训练出一个可以生成我们想要的分子（输出形式为图）的GNN，然后用 阅读全文

摘要： Deep Dream Deep Dream是这样的：如果给机器一张图片$x$，Deep Dream会把机器看到的内容加到图片$x$中得到$x'$。那如何实现呢？ 如上图所示，将图片$x$输入到CNN中，然后取出CNN中某一层$L$（可以是卷积、池化阶段的隐藏层，也可以是FNN中的隐藏层）的输出$O$ 阅读全文

摘要： 卷积核学到了什么 如果想知道下图中第1个卷积层中的每个卷积核的功能，因为它参数比较少而且其输入是原图片，所以我们直接结合原图片观察卷积核的参数就可以知道该卷积核的功能。 如上图所示，CNN中第2个卷积层的输入不是直观的图片而且其卷积核的感受野比第1个卷积层中卷积核的感受野更大，因此我们无法通过观察卷 阅读全文

摘要： 卷积神经网络（CNN）常常被用来做图像处理，当然也可以用一般的神经网络，那它们各自有什么优缺点呢？ FNN用于图片处理的缺点 使用一般的全连接前馈神经网络（FNN）处理图片时的缺点： 需要很多的参数 假设有一张尺寸100×100的图片（尺寸已经算很小了），那输入层就有100×100×3=30K个像素 阅读全文

摘要： 本文为作者学习李宏毅机器学习课程时参照样例完成homework2的记录。 关注我的公众号：臭咸鱼，回复LHY可获取课程PPT、数据和代码下载链接。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述（Task Descriptio 阅读全文