LazistCodEr

摘要： word2vec的高速化 上一次我们学习了word2vec的机制，实现了CBOW的模型。CBOW是一个简单的二层神经网络，实现起来相对简单。但是存在一些问题，其中最大的问题就是：随着语料库中处理的词汇量的增加，计算量也随之增加 这次我们将重点放在word2vec的加速上，来改善word2vec的速度 阅读全文

摘要： word2vec 1.基于推理的方法和神经网络 用向量表示单词的研究最近正在如火如荼地展开，其中比较成功的方法大致可以分为两种：一种是基于计数的方法；另一种是基于推理的方法。 虽然两者在获得单词含义的方法上差别很大，但是两者的背景都是分布式假设。 1.1 基于计数的方法的问题 基于计数的方法根据一个 阅读全文

摘要： 卷积神经网络 1. 整体结构 相邻层的所有神经元之间都有连接，这称为全连接（fully-connected） 在之前使用的全连接神经网络中，Affine层后面跟着激活函数ReLU层（或者Sigmoid 层）。这里堆叠了4 层“Affine-ReLU”组合，然后第5 层是Affine层，最后由Soft 阅读全文

摘要： 奇异值分解 1. 特征值与特征向量 首先回顾特征值与特征向量定义 \(Ax=\lambda x\) $A$是一个$n \times n$矩阵，$x$是一个$n$维向量，则$\lambda$是矩阵$A$的一个特征值，而$x$是矩阵$A$的特征值$\lambda$对应的特征向量。 求出特征值和特征矩阵可 阅读全文