随笔分类 -  深度学习

上一页 1 2
深度学习笔记
早停法-Early stopping
摘要：# 早停法(Early stopping) 在训练时我们会发现，并不是随着训练次数的越多训练效果越好，过度训练甚至会导致准确率的下降。所以我们需要在合适的时候选择停止，提前终止训练，保证模型的性能最好。 实现方式： 1. 使用测试集(验证集)做模型参数选择； 2. 监测测试的表现； 3. 在准确率到 阅读全文
posted @ 2023-07-13 18:28 同淋雪 阅读(718) 评论(0) 推荐(0)
动量(momentum)
摘要：# 动量(momentum) 动量类似于物理中的运动物体具有惯性，下一个时刻的运动方向，会与上个时刻的运动方向有关。 梯度下降的过程中，参数w朝着损失函数的偏导数的方向迭代，也就是下降得最快方向。 ![image-20230713170043310](https://gitee.com/drench 阅读全文
posted @ 2023-07-13 17:41 同淋雪 阅读(368) 评论(0) 推荐(0)
正则化
摘要：# 正则化 正则化的提出在于减轻过拟合。 减轻过拟合有多种方法： - 提供更多的数据 - 降低模型复杂度 - Drop out - 数据增强(Data argumentation) - Early stopping 正则化的本质是使高维的参数变小，接近于0，降低模型复杂度。 ![image-2023 阅读全文
posted @ 2023-07-13 16:23 同淋雪 阅读(25) 评论(0) 推荐(0)
交叉验证
摘要：# 交叉验证 在实际情况中，数据集是分为训练集和测试集的。而测试集通常被用户保留，并不对外公开，以防止在测试模型时作弊，故意使用让模型效果更好的数据进行测试，以至于模型遇上新的数据效果很差。 ![image-20230531211645662](https://gitee.com/drenched- 阅读全文
posted @ 2023-05-31 21:34 同淋雪 阅读(45) 评论(0) 推荐(0)
测试
摘要：# 测试 从图中我们可以发现，随着训练次数的增加，Loss越来越小，准确率也是越来越高·。但是在到达某个节点后，随着训练次数的增多Loss反而不稳定起来，准确率也发生波动。所以说明模型的训练并不是次数越多越好。这是因为对于同一个训练集，不断地训练会让模型记住这些样本的一些表面属性，使其在新的数据集上 阅读全文
posted @ 2023-05-31 21:32 同淋雪 阅读(79) 评论(0) 推荐(0)
Pytorch高级api搭建多层感知机实战
摘要：# Pytorch高级api搭建多层感知机实战 代码 ```python import torch import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transf 阅读全文
posted @ 2023-05-30 20:55 同淋雪 阅读(83) 评论(0) 推荐(0)
Pytorch多分类问题实战
摘要：# 多分类问题实战 定义一个简单的神经网络模型，并使用SGD优化算法进行训练和测试MNIST数据集 ```python import torch import torch.nn.functional as F import torch.optim as optim """ torchvision 可 阅读全文
posted @ 2023-05-30 20:55 同淋雪 阅读(158) 评论(0) 推荐(0)
常见LOSS函数之Cross Entropy(交叉熵)
摘要：# 常见LOSS函数之Cross Entropy(交叉熵) 交叉熵是分类问题常用的损失函数。 ## 熵 熵表示稳定性或者说惊喜度，熵越高表示越稳定，其惊喜度就越低。 ![image-20230530203221815](https://gitee.com/drenched-with-snow/pic 阅读全文
posted @ 2023-05-30 20:52 同淋雪 阅读(173) 评论(0) 推荐(0)
反向传播
摘要：# 反向传播 将输入值与参数用向量的形式表示，神经网络可以简化为： ![image-20230525191032420](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251921228.png) 损失函数为： ![imag 阅读全文
posted @ 2023-05-25 19:21 同淋雪 阅读(137) 评论(0) 推荐(0)
Softmax
摘要：# Softmax 将输出的离散值转换成概率值，且所有情况的概率之和为1。 ![image-20230512142531121](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251845329.png) 求导 ![imag 阅读全文
posted @ 2023-05-25 18:46 同淋雪 阅读(125) 评论(0) 推荐(0)
常见LOSS函数之MSE
摘要：# MSE及其梯度 ## MSE（mean squared error均方差） ![image-20230511162639392](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251842859.png) pytorch 阅读全文
posted @ 2023-05-25 18:43 同淋雪 阅读(92) 评论(0) 推荐(0)
多层感知机的梯度推导
摘要：# 多层感知机的梯度推导 ![image-20230525181251347](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251837340.png) pytorch实现 注：torch.randn(m,n)生成m行n列 阅读全文
posted @ 2023-05-25 18:37 同淋雪 阅读(20) 评论(0) 推荐(0)
单层感知机的梯度推导
摘要：# 单层感知机的梯度推导 ![image-20230525175539202](https://gitee.com/drenched-with-snow/pic-go/raw/master/202305251836396.png) w10表示前一层的第1节点和这一层的第0节点相连。 ![image- 阅读全文
posted @ 2023-05-25 18:36 同淋雪 阅读(24) 评论(0) 推荐(0)
激活函数及其梯度
摘要：# 激活函数及其梯度 1959年科学家对青蛙神经元的机制进行了研究，发现神经元不是对所有的输入都响应，而是只有值大于某个阈值时才会响应，且输出的值是固定的。 科学家借鉴这种机制发明了神经元模型。 这个函数在z=0处是不连续的，没法求它的导数，无法使用梯度下降进行优化。 为了解决这问题，科学家引入了新 阅读全文
posted @ 2023-05-25 18:35 同淋雪 阅读(78) 评论(0) 推荐(0)
梯度及梯度下降
摘要：# 梯度下降 我们的目的是找到使预测值最接近真实值的参数，也就是使损失函数最小的参数，即求解损失函数的极值点。于是引入梯度下降的方法，这是被使用最广泛的优化算法。 梯度下降算法是通过一次次的去调整参数，使得损失函数下降到极小值。 ## 什么叫梯度？ 梯度就是下降的方向，它的值为损失函数的偏导数。学习 阅读全文
posted @ 2023-05-25 18:33 同淋雪 阅读(84) 评论(0) 推荐(0)
似然函数与损失函数
摘要：# 似然函数与损失函数 ## 一、误差 对于每个样本，真实值等于预测值与误差之和。 每一个样本的误差，都是独立且同分布的，并且均服从高斯分布 由于误差服从高斯分布，误差的概率分布可表示为P(e(i))，于是theta的概率分布也可表示出来,如下 ## 二、似然函数 我们的目标是找出使预测值最接近真实 阅读全文
posted @ 2023-05-25 18:30 同淋雪 阅读(270) 评论(0) 推荐(0)
初识深度学习
摘要：初识深度学习 一、人工智能、机器学习、深度学习之间的关系 二、应用 计算机视觉、语音识别、机器翻译、推荐系统、预测...... 三、深度学习框架 阅读全文
posted @ 2023-04-10 17:29 同淋雪 阅读(31) 评论(0) 推荐(0)
深度学习入门
摘要：深度学习入门 1、入门路线 2、人工智能、机器学习和深度学习的区别 **人工智能：**可能是来自 1956 有史以来最受关注的概念。到 2015 年，GPU 的广泛使用使并行处理更快、更强大、更便宜。而愈加廉价的存储可以大规模地存储大数据（从纯文本到图像、映射等）。这产生了对数据分析的需求，它被更普 阅读全文
posted @ 2023-04-10 17:28 同淋雪 阅读(137) 评论(0) 推荐(0)
卷积神经网络
摘要：卷积神经网络 一、简介 之前我们说神经网络它是个特征提取器，但是它能提什么特征？我们叫做结构化的数据，也就是说常见的一些指标，例如我们今天说身高、年龄、体重。但是在图像数据当中，我们说每一个特征或者叫每一个像素点，它并不是身高、体重和年龄这种相对来说可以独立的，但是图像当中的点和点之间肯定是有关系的 阅读全文
posted @ 2023-03-08 21:26 同淋雪 阅读(299) 评论(0) 推荐(0)

上一页 1 2