Clopt

摘要： 权重衰退 权重衰退（Weight Decay）是一种常用的正则化技术，用于防止模型过拟合。其核心思想是通过惩罚较大的权重值，限制模型的复杂度，从而提高泛化能力。 使用均方范数作为硬性限制 通过限制参数值的选择范围来控制模型容量 ·通常不限制偏移 b(限不限制都差不多) ·小的0意味着更强的正则项 使 阅读全文

摘要： 模型选择 训练误差和泛化误差 1. 训练误差（Training Error） 定义：模型在训练数据集上的平均预测误差（即模型“记住”训练数据的能力）。 计算公式（以分类问题为例）： 其中n是训练样本，yi是真实标签，模型预测标签 特点： 训练误差低 ≠ 模型好（可能是过拟合）。 优化目标：通过损失函 阅读全文

摘要： 感知机 ·给定输入x，权重w，和偏移b，感知机输出： 二分类：-1或1。二分类Vs线性回归输出的是实数 二分类 Vs Softmax回归输出的是概率 （Softmax可以做多分类） 训练感知机 这个算法算是一个梯度下降，等价于使用批量大小为1的梯度下降，并使用损失函数 例子 收敛定理 ·数据在半径r 阅读全文

摘要： 在PyTorch中，广播机制允许在不同形状的张量之间进行数学运算。这种机制在内部自动扩展张量的尺寸，使其能够匹配，从而可以执行元素级的运算而不需要复制数据。 广播机制的基本原则： 1.至少一个维度：参与广播的每个张量至少应该有一个维度。 2.维度匹配：从尾部维度开始（从右往左），对应的每个维度都必须 阅读全文

摘要： Softmax回归 分类问题 从图片分类问题开始，可以用一个标量表示每个像素值，每个图像对应四个特征x1,x2,x3,x4,假设每个图像属于类别“猫”“鸡”和“狗”中的一个。 然后，我们要选择如何表示标签。 我们有两个明显的选择：最直接的想法是选择， 其中整数分别代表狗猫鸡。 这是在计算机上存储此类 阅读全文

摘要： 线性模型(Linear Model)，通过样本特征的线性组合来进行预测的模型 线性模型做回归： 以之前房价预测的例子：在模型中的参数w（权重）与b（偏差）是可以通过数据学习的。 线性模型做分类： 用于将数据点分为离散类别。使用向量来输出（不是输出1个元素而是m个元素 m为类别数），使用线性模型预测出 阅读全文

摘要： 自动求导 自动求导的作用 1.自动计算梯度：深度学习模型的训练依赖于梯度下降法优化损失函数。只需要定义好模型和损失函数，调用 .backward()，框架就能算出每个参数的梯度。 2.支持反向传播算法：自动求导是反向传播的基础，它构建计算图并应用链式法则来自动求出每一层的误差梯度，这正是神经网络能够 阅读全文

摘要： 如何将矩阵计算应用于机器学习 基本概念 在实际应用中，矩阵在机器学习和深度学习领域中，发挥着不可或缺的作用。 机器学习的诸多算法，如线性回归、神经网络、卷积神经网络和循环神经网络等，本质上都依赖于矩阵算法，可使用矩阵来表示数据集、特征空间和权重矩阵等。 在机器学习中，数据通常以矩阵的形式表示。例如， 阅读全文

摘要： 范数 范数，范数是用来度量向量长度的，它可以看成是二、三维解析几何中向量长度概念的推广，用Rn表示n维实向量空间。 对任一向量X∈Rn,按照一定规则确定一个实数与它对应，该实数记为||X||，若||X||满足下面三个性质： 1.||X||≥0； 2.对任意实数λ，||λX|| = |λ| ||X|| 阅读全文

摘要： 数据操作 要学习深度学习，首先需要先掌握一些基本技能。 所有机器学习方法都涉及从数据中提取信息。 因此，我们先学习一些关于数据的实用技能，包括存储、操作和预处理数据。 N维数组样例 ·N维数组是机器学习和神经网络的主要数据结构 创建数组 ·创建数组 1.形状：例如3×4 2.每个元素的类型：例如32 阅读全文