摘要：基于RNN网络的2个缺陷（全部记忆，梯度消失），现有RNN网络的升级版LSTM LSTM要做的一件事就是本次有选择的记忆用到下一次的递归工作中。 LSTM网络中，与RNN最大的区别，也是LSTM网络中最核心的东西就是控制记忆的参数C了 C是一个矩阵，用来和输入做内积，用实际的数字控制输入哪些该遗忘， 阅读全文

摘要：常规神经网络： 常规的神经网络是各算各的，每个x之间都是独立的 递归神经网络： 递归神经网络要干的一件事就是，在隐藏层中，x1利用了x0的w，x2利用了x1的w，x3利用x2的w。。。。。以此类推 例如下面这个例子： x0表示“我出生” x1表示“在” x2表示“中国” xt表示“我说” xt+1就 阅读全文

摘要：前向传播： 前向传播就是求特征图的过程 通常x和w有四个维度[编号，深度，高度，宽度] 反向传播： 先来复习一下反向传播的知识： 反向传播回来的是梯度，也就是偏导数 反向传播力有一个链式法则：对于反向传播（反着看），本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导 红色代表反向传播，绿 阅读全文

摘要：池化层（Pooling layer） 池化层干一件事：将特征图进行浓缩 两种方法：一种是max方法，一种是mean方法， max方法做的事就是在特征图中选定一个区域，选取里面的最大值，然后放在pooling的结果中 mean方法就是在特征图中选定一个区域，求这个区域的均值，然后放在pooling的结 阅读全文

摘要：网络要做的步骤：（一个中国人，给中国人教学，为什么要写一堆英语？） 1， sample abatch of data（数据抽样） 2，it through the graph ,get loss（前向传播，得到损失值） 3，backprop to calculate the geadiets（反向传 阅读全文

摘要：神经网络公式与模型： 神经网络在计算机中的样子： 输入层和隐藏1层用w1链接，隐藏1和隐藏2层用w2链接，隐藏2层和输出层用w3链接。 那么w1应该是一个3×4的矩阵，表示有3个样本，4个特征。 线性很少能满足实际要求，于是非线性的函数出现了，max（0，w1x）称为激活函数 例如用sigmoid当 阅读全文

摘要：最优化： 包括前向传播和反向传播 前向传播： 由w和x到损失函数loss的过程叫做前向传播 反向传播： 根据梯度下降的概念，找到最优的w的过程叫做反向传播。 做一件什么事情呢？ 根据前向传播的w得到的loss，将loss反馈给上一次前向传播的w进行比较两次的w，看看哪个w使得loss小，那么就用小l 阅读全文

摘要：得分函数： 将图片拉伸成一个一维矩阵x，也就是3072×1，最后要得出10个分类的得分值也就是10×1，那w就得是10×3072的矩阵，也就是10组3072个特征的权重值，乘以x，加上b，得到的一个10×1的矩阵，这个矩阵就是最终的每个分类的得分值。 假设将图像分为2×2个像素点，最后又3中类型，那 阅读全文

摘要：K-近邻算法： 如果K = 3，绿色圆点最近的3个邻居：2个红色三角，和1个蓝色矩形，少数从属多数，基于统计的算法，判定绿色圆点为红色三角一类。 如果K = 5，绿色圆点最近的5个邻居：2个红色三角，和3个蓝色矩形，少数从属多数，基于统计的算法，判定绿色圆点为蓝色矩形一类。 对于未知类别属性数据集中 阅读全文