深度学习 - 随笔分类 - foghorn

gensim word2vec用法小结

摘要：常用API gensim.models.Word2Vec(sentence, min_count, workers) gensim.models.word2vec.Word2Vec(sentence, min_count, workers) word2vec参数 sentence：语料句子，必须是一阅读全文

posted @ 2022-02-13 17:59 foghorn 阅读(1013) 评论(0) 推荐(0) |

变分自编码器（VAE）的理解与实现

摘要：#导读变分自编码器（VAE）是一种生成式模型，虽然名字上叫做自编码器，但却和普通的自编码器有着本质上的区别。图a所示为一个普通自编码器的示意图，其功能是将输入数据压缩到一个低维的空间中，这个低维的向量代表了输入数据的“精华”，如何保证低维的向量能够表示输入向量呢？自编码器在将低维向量解码成输出向量阅读全文

posted @ 2022-01-23 01:00 foghorn 阅读(2960) 评论(0) 推荐(0) |

GraphSAGE：Inductive Representation Learning on Large Graphs——论文笔记

摘要：背景本文是斯坦福大学发表在2017年nips的一篇文章，不同于deepwalk等通过图结构信息，在训练之前需要所有节点的embedding信息，这种方法对于那些没有见过的node节点是没办法处理的，概括的说，这些方法都是transductive的。此文提出的方法叫GraphSAGE，针对的问题是之阅读全文

posted @ 2022-01-16 15:53 foghorn 阅读(731) 评论(0) 推荐(0) |

Graph Attention Networks论文笔记

摘要：Abstract 我们提出了图注意网络(GATs)，一种基于图结构数据的新型神经网络结构，利用masked self-attentional layers来解决先前基于图卷积或其近似的方法的缺点。通过堆叠节点能够关注其邻域特征的层，我们允许（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何昂贵阅读全文

posted @ 2022-01-03 16:04 foghorn 阅读(420) 评论(0) 推荐(0) |

生成对抗网络（GAN）系列（二）——GAN存在的问题

摘要：生成网络的优化目标 the -logD alternative 称生成器的目标函数： \(\mathop{min}_{\theta } \mathbb{E}_{\boldsymbol z \sim p(\boldsymbol z)}\left [ log(1 - D \left (G (\bolds 阅读全文

posted @ 2021-09-25 21:38 foghorn 阅读(849) 评论(0) 推荐(0) |

生成对抗网络（GAN）系列（一）—— regular GAN

摘要：生成式模型的作用密度估计给定一组数据$D=\left { x^{n} \right }^{N}{n=1}$，假设它们都是独立地从相同的概率密度函数为$p{r}(x)$的未知分布中产生的。密度估计是根据数据集$D$来估计其概率密度函数$p_{\theta}(x)$。在机器学习中，密度估计是一类无阅读全文

posted @ 2021-09-17 21:54 foghorn 阅读(564) 评论(0) 推荐(0) |

堆叠降噪自编码器——SDAE

摘要：堆叠自编码器对于很多数据来说，仅使用两层神经网络的自编码器结构还不足以获取一种好的数据表示，为了获取更好的数据表示，我们可以使用更深层的神经网络。深层神经网络作为自编码器提取的数据表示一般会更加抽象，能够更好地捕捉到数据的语义信息。在实践中经常使用逐层堆叠的方式来训练一个深层的自编码器，称为堆叠自阅读全文

posted @ 2021-09-11 18:13 foghorn 阅读(2526) 评论(3) 推荐(0) |

GCN原理及代码实现——基于pytorch

摘要：Thomas N.Kipf等人于2017年发表了一篇题为《SEMI_SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》的论文，提出了一种直接在图上进行卷积操作的算法，在引文网络和知识图谱的数据集中取得了state-of-the-a 阅读全文

posted @ 2021-09-08 21:37 foghorn 阅读(12780) 评论(0) 推荐(0) |

梯度爆炸与梯度消失

摘要：#0 概述在神经网络模型中，如果网络的层数很多，则可能会出现梯度爆炸或者梯度消失问题。顾名思义，梯度爆炸意思是梯度太大了，可能会超出计算机可表示的数值范围；梯度消失意思是梯度太小了。 #1 梯度爆炸 ##1.1 梯度爆炸的成因以多层感知机为例，第t层的输出为： \(f_{t}(h^{t-1})= 阅读全文

posted @ 2021-08-16 21:09 foghorn 阅读(378) 评论(0) 推荐(0) |

卷积神经网络若干概念理解

摘要：#1 卷积核卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义（或自定义），这个函数称为卷积核。如下图中间部分所示。 #2 特征图经过卷积核运算之后的图成为特征图 #3 感受野感受野的定义是，对于某层输出特征图上的某个点阅读全文

posted @ 2021-08-15 17:23 foghorn 阅读(115) 评论(0) 推荐(0) |

dropout正则化

摘要：#0 dropout 当训练一个深度神经网络时，我们可以随机丢弃一部分神经元及其对应的连边来避免过拟合，这种方法称为丢弃法（Dropout Method）。其示意图如下：实际上我们并不改变网络结构，而是以一定的概率将网络的隐藏层输出值变成0。在对某个隐藏层进行dropout时，开辟一个新的矩阵ma 阅读全文

posted @ 2021-08-01 20:31 foghorn 阅读(203) 评论(0) 推荐(0) |

foghorn

公告

随笔分类 - 深度学习