09 2021 档案

PyTorch笔记--随机梯度下降
摘要：首先要搞懂损失函数与代价函数。 损失函数是单个样本与真实值之间的差距 代价函数是整个样本集与真实值的平均差距 随机梯度下降就是不使用代价函数对参数进行更新，而是使用损失函数对参数更新。 梯度下降： import matplotlib.pyplot as plt import numpy as np 阅读全文
posted @ 2021-09-15 14:20 奋斗的小仔 阅读(188) 评论(0) 推荐(0)
Python笔记--zip
摘要：zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，返回一个由这些元组组成的列表。 x_data = [0, 1, 2, 3, 4] y_data = [3, 5, 6, 7, 8] new = zip(x_data, y_data) print(*new) 输出是（我也 阅读全文
posted @ 2021-09-13 22:19 奋斗的小仔 阅读(114) 评论(0) 推荐(0)
PyTorch笔记--自动调整学习率
摘要：我们在训练的过程中，经常会出现loss不再下降的问题，但是此时gradient可能并没有很小，并非处于驻点。 可能是出现了梯度在山谷的山谷壁之间来回震荡的情况。gradient依然很大，但是loss不再减小了。 整个训练过程中，每个参数都一直使用同一个学习率，对于优化而言是不够的。学习率调整的原则是 阅读全文
posted @ 2021-09-12 14:34 奋斗的小仔 阅读(503) 评论(0) 推荐(0)
PyTorch笔记--动量(Momentum)
摘要：动量是一个能够对抗鞍点和局部最小值的技术。 下面我们来看更新梯度的方法。首先选取一个初始值theta0，计算Loss在theta0处的梯度g0，然后根据公式 teata1=teta0-aita*g0，得到的theta1就是更新后的参数。 引入动量后的参数更新，不仅要考虑当前的梯度，还要考虑之前所有的 阅读全文
posted @ 2021-09-11 16:19 奋斗的小仔 阅读(508) 评论(0) 推荐(0)
PyTorch笔记-Small Batch VS Large Batch
摘要：下面是李宏毅老师总结的表格。小批次和大批从中的这个大和小的概念指的是一个批次中数据个数的多少。 下面内容是对这个表格的解释。 ①在无并行处理的情况下，小批次的数据处理的更快，大批次的数据处理地慢一些（处理完一次后就进行一次参数的更新）。 ②GPU具有并行处理数据的能力，在并行处理的情况下，小批次数据 阅读全文
posted @ 2021-09-11 15:57 奋斗的小仔 阅读(415) 评论(0) 推荐(0)
PyTorch笔记--shuffle=True
摘要：在机器学习中，我们会将数据集分成很多个批次来训练。每次抛出一个批次的数据来计算损失函数，再根据损失函数计算参数的梯度。 再根据梯度来更新参数。然后数据加载器会接着抛出下一个批次的数据来计算损失函数，。。。 如下图所示，起初随机选择一个参数的初值theta0。损失函数L1是参数theta0的表达式，根 阅读全文
posted @ 2021-09-11 13:32 奋斗的小仔 阅读(1839) 评论(0) 推荐(0)
机器学习--深度学习基本概念
摘要：根据李宏毅老师机器学习课程所做的笔记。 函数y=wx+b，输入与输出之间是一个线性的关系。改变w可以改变直线的斜率，改变b可以改变直线的截距。 但是如果想要刻画上图中的红色直线是困难的。这条红色的曲线应该怎么表示呢？ 红色的曲线可以表示为图中蓝色曲线的和。 蓝色曲线(Hard Sigmoid)的特征 阅读全文
posted @ 2021-09-03 20:52 奋斗的小仔 阅读(155) 评论(0) 推荐(0)
机器学习--基本概念
摘要：Machine Learing ≈ Looking for a function 机器学习：机器学习研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。 任务分类 回归任务：函数的输出是一个标量。 分类任务：给的类别，函数的输出是这些类别之一。 步骤 1、定义含未知参数的函数 阅读全文
posted @ 2021-09-02 17:26 奋斗的小仔 阅读(86) 评论(0) 推荐(0)