随笔分类 - 深度学习
入门自学记录笔记
摘要:样本太少了 但是又头铁想做声音分类模型 脑子一灵光 不如自己写一个数据增强(实际项目可以把GAN加进来 有空我再美美把玩把玩GAN) 仅供娱乐 这还是我第一次弄cnn 很兴奋 虽然已经是大模型时代了 哎 import os import numpy as np import librosa impo
阅读全文
摘要:C7 卷积神经网络CNN中新增了Convolution层和Pooling层,其连接顺序是:Convolution-Relu-Pooling,靠近输出层使用Affine-ReLU组合①全连接:相邻层的所有神经元之间都有连接②卷积层:以多维的数据形式接收输入数据,其输入输出数据称为“特征图”卷积运算:相
阅读全文
摘要:C6 与学习相关 1、参数的更新①参数的最优化:找到使得损失函数值尽可能小的参数SGD:随机梯度下降法,醉着梯度方向更新参数缺点:如果函数形状非均向,呈延伸状,搜索的路径就会非常低效 momentum:动量引入一个v初始化时,v什么都不保存当第一次调用update()时,v会以字典型变量形式保存参数
阅读全文
摘要:C5 误差反向传播计算图构建计算图,从左向右进行计算。(正向传播) 局部计算:无论全局发生了什么,都只能根据与自己相关的信息输出接下来的结果计算图优点:可以将中间的计算结果全部保存起来。只有这些无法令人信服,可以通过反向传播高效计算倒数。 计算图的反向传播:沿着与正方向相反的方向,乘上局部导数。
阅读全文
摘要:②学习算法的实现 神经网络的步骤1、mini-batch从训练数据中随机选取一部分数据,称之为mini-batch。目标是减少mini-batch的损失函数值。2、计算梯度为了减少mini-batch损失函数的值,需要求出各个权重参数的梯度,梯度表示损失函数的值减少最多的方向。3、更新参数,将权重参
阅读全文
摘要:神经网络 ①梯度梯度法:在学习时找到最优参数,使用梯度寻找函数最小值方法:函数取值从梯度:表示各点处函数减少最多的方向,不一定指向最小值,但沿着方向可以最大限度减少函数的值。所以在寻找函数最小值的时候,以梯度信息为线索决定前进方向。学习率:在神经网络学习中,决定在一次学习中应该学习多少,以及在多大程
阅读全文
摘要:预处理:将各个像素值除以255,进行了简单的正则化。 批处理:可以减轻数据总线的负荷,相对于数据读入,可以将更多的时间用在计算上。批处理一次性计算大型数组比分开逐步计算各个小型数组要快得多。 考虑打包输入多张图像情形,使用predict()一次性打包处理100张图像x形状:100*784 for i
阅读全文
摘要:1、矩阵乘积A=np.array([[1,2],[3,4]])B=np.array([[5,6],[7,8]])np.dot(A,B)必须要使得矩阵中对应维度的元素个数一致神经网络中就是通过乘积进行神经网络的运算 2、简单的三层神经网络实现(入门) ※层与层间进行乘积运算 使用了Numpy多维数组,
阅读全文

浙公网安备 33010602011771号