摘要：
基于深度学习的手写数字识别、python实现 一、what is 深度学习 二、加深层可以减少网络的参数数量 三、深度学习的手写数字识别 一、what is 深度学习 深度学习是加深了层的深度神经网络。 二、加深层可以减少网络的参数数量 加深层的网络可以用更少参数获得与没有加深层同等水平的表现力。 阅读全文
随笔分类 - 机器学习
机器学习 卷积神经网络 手写数字识别
2022-04-05 14:30 by jym蒟蒻, 146 阅读, 收藏,
摘要：
一、CNN网络结构与构建 参数： 输入数据的维数，通道，高，长 input_dim=(1, 28, 28) 卷积层的超参数，filter_num：滤波器数量，filter_size：滤波器大小，stride：步幅，pad，填充。 conv_param={'filter_num':30, 'filte 阅读全文
机器学习 随机梯度下降法 手写数字识别
2022-04-05 14:29 by jym蒟蒻, 376 阅读, 收藏,
摘要：
基于随机梯度下降法的手写数字识别、epoch是什么、python实现 一、普通的随机梯度下降法的手写数字识别 1.1 学习流程 1.2 二层神经网络类 1.3 使用MNIST数据集进行学习 注：关于什么是epoch 二、基于误差反向传播算法求梯度的手写数字识别 2.1 学习流程 2.2 实现与结果分 阅读全文
机器学习 卷积神经网络
2022-04-05 14:27 by jym蒟蒻, 140 阅读, 收藏,
摘要：
卷积神经网络的整体结构、卷积层、池化、python实现 一、整体结构 二、卷积层 三、池化层 四、python实现卷积层、池化层 一、整体结构 神经网络相邻层所有神经元之间都有连接，称为全连接。前面用Affine层实现了全连接。 举个例子 全连接神经网络结构： 卷积神经网络CNN的结构： 新增了Co 阅读全文
机器学习 超参数
2022-04-05 14:26 by jym蒟蒻, 538 阅读, 收藏,
摘要：
神经网络如何调参、超参数的最优化方法、python实现 一、what is 超参数 二、超参数优化实验 一、what is 超参数 超参数是什么，其实就是，各层神经元数量、batch大小、学习率等人为设定的一些数。 数据集分为训练数据、测试数据、验证数据。 用测试数据评估超参数值的好坏，就可能导致超 阅读全文
机器学习 Dropout方法
2022-04-05 14:25 by jym蒟蒻, 690 阅读, 收藏,
摘要：
解决神经网络过拟合问题—Dropout方法 一、what is Dropout？如何实现？ 二、使用和不使用Dropout的训练结果对比 一、what is Dropout？如何实现？ 如果网络模型复杂，L2范数权值衰减方法就难以对付过拟合。这种情况下，用Dropout方法。 Dropout是一种在 阅读全文
机器学习 神经网络过拟合 权值衰减算法
2022-04-05 14:24 by jym蒟蒻, 227 阅读, 收藏,
摘要：
使用权值衰减算法解决神经网络过拟合问题、python实现 一、what is 过拟合 二、过拟合原因 三、权值衰减 四、实验验证 4.1制造过拟合现象 4.2使用权值衰减抑制过拟合 一、what is 过拟合 过拟合指只能拟合训练数据，但不能很好拟合不包含在训练数据中的其他数据的状态。 二、过拟合原 阅读全文
机器学习 神经网络权重初始值设置
2022-04-05 14:23 by jym蒟蒻, 974 阅读, 收藏,
摘要：
关于神经网络权重初始值的设置的研究 一、权重初始值 二、权重初始值会影响隐藏层的激活值分布 三、Xavier初始值 四、He初始值 五、基于MNIST数据集的权重初始值的比较 一、权重初始值 权值衰减—抑制过拟合、提高泛化能力。 所谓权值衰减，即，以减小权重参数的值为目的进行学习。 所以说人们一开始 阅读全文
机器学习 神经网络最优化方法
2022-04-05 14:12 by jym蒟蒻, 149 阅读, 收藏,
摘要：
神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现 一、SGD 二、Momentum-动量 三、AdaGrad 四、Adam 一、SGD 右边的值更新左边的值，每次更新朝着梯度方向前进一小步。 class SGD: """随机梯度下降法（Stochastic 阅读全文
机器学习 反向传播 实现神经网络的ReLU、Sigmoid激活函数层
2022-04-05 14:10 by jym蒟蒻, 1146 阅读, 收藏,
摘要：
结合反向传播算法使用python实现神经网络的ReLU、Sigmoid激活函数层 这里写目录标题 一、ReLU层的实现 二、Sigmoid层的实现 三、实现神经网络的Affine层 四、Softmax-with-Loss层实现 一、ReLU层的实现 正向传播时的输入大于0，则反向传播会将上游的值原封 阅读全文
机器学习 反向传播算法
2022-04-05 14:08 by jym蒟蒻, 374 阅读, 收藏,
摘要：
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播 一、what is 反向传播 二、乘法节点的反向传播 三、加法节点的反向传播 四、加法层和乘法层混合应用 一、what is 反向传播 误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播，从图上看的话，就是从右 阅读全文
机器学习 使用MNIST数据集
2022-04-05 14:07 by jym蒟蒻, 562 阅读, 收藏,
摘要：
下载MNIST数据集并使用python将数据转换成NumPy数组 首先来分析init_mnist函数 接下来继续分析load_mnist函数 实现数据集转换的python脚本的代码 显示MNIST图像并确认数据 下载MNIST数据集并将数据转换成NumPy数组的Python脚本里面最重要的就是loa 阅读全文
机器学习 梯度
2022-04-05 14:05 by jym蒟蒻, 351 阅读, 收藏,
摘要：
一、python实现求导的代码： 二、what is 梯度 三、使用梯度法寻找神经网络的最优参数 四、神经网络的梯度计算 一、python实现求导的代码： 导数含义也就是：变量x一个微小的变化将导致f(x)的值在多大程度上变化。 def numerical_diff(f, x): h = 1e-4 阅读全文
机器学习 损失函数
2022-04-05 14:04 by jym蒟蒻, 392 阅读, 收藏,
摘要：
损失函数 what is 损失函数 均方误差 交叉熵误差 计算mini-batch学习的损失函数 why 损失函数 what is 损失函数 神经网络学习目标是找到各层合适的权重参数w和偏置b，使得最终的输出结果能够与实际结果更加接近。那神经网络的这些权重参数是如何得到的：靠损失函数这个指标来进行一 阅读全文
机器学习 对数据集进行批处理
2022-04-05 14:03 by jym蒟蒻, 174 阅读, 收藏,
摘要：
只输入一张图像数据过程和一次性处理100张图像数据过程中，数组形状变换如下图所示： 这些数组形状可以在代码中输出出来： def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten= 阅读全文
机器学习 构建三层神经网络、softmax函数
2022-04-05 14:02 by jym蒟蒻, 167 阅读, 收藏,
摘要：
输入层到第一层的传递表示 第一层到第二层的传递表示 第二层到第三层的传递表示 全过程传递表示代码 输入层到第一层的传递表示 首先看输入层到第一层的第一个神经元的信号传递过程： 可以用数学式子表示第一层的第一个神经元的值： 如果用矩阵乘法运算，第一层的加权和可以表示成下面形式： 考虑激活函数的话，也就 阅读全文
机器学习 神经网络的激活函数
2022-04-05 14:01 by jym蒟蒻, 153 阅读, 收藏,
摘要：
神经网络的激活函数、并通过python实现 what is 激活函数 激活函数的python实现 python实现阶跃函数 python实现sigmoid函数 python实现ReLU函数 激活函数的特点 what is 激活函数 感知机的网络结构如下： 左图中，偏置b没有被画出来，如果要表示出b， 阅读全文
机器学习 感知机实现与、或、与非门和异或门
2022-04-05 13:59 by jym蒟蒻, 2769 阅读, 收藏,
摘要：
机器学习-感知机【perceptron】 what is 感知机 单层感知机运用实例 多层感知机 what is 感知机 感知机接收多个输入信号，输出一个信号。 接收两个信号的感知机，如下图： x1与x2是输入信号；y是输出信号； w1与w2是权重。圆圈O代表”神经元”或者”节点”。 神经元被激活： 阅读全文
浙公网安备 33010602011771号