摘要：
分类样本不平衡问题（Class Imbalance Problem）是机器学习中一个非常普遍且重要的问题。它指的是在分类数据集中，不同类别的样本数量差异巨大，例如，在信用卡欺诈检测中，正常交易样本可能有 99.8%，而欺诈交易样本可能只有 0.2%。 在这种情况下，大多数标准机器学习算法倾向于偏向多 阅读全文
posted @ 2025-11-13 11:12
PKICA
阅读(35)
评论(0)
推荐(0)
摘要：
1. 学习率 梯度下降的学习率（Learning Rate）是深度学习中最核心、最关键的超参数之一。它决定了模型在每一次迭代中沿着损失函数负梯度方向前进的“步子”有多大。 学习率的目标是在收敛速度和训练稳定性之间找到一个平衡点。 收敛速度：学习率越大，参数更新越快，理论上模型收敛到最优解所需的时间越 阅读全文
posted @ 2025-11-13 10:44
PKICA
阅读(47)
评论(0)
推荐(0)
摘要：
Drop-out 是一种专门针对神经网络设计的正则化技术，亦称随机失活，它是一种非常有效且广泛使用的防止过拟合的方法。它由 Geoffrey Hinton 及其团队在 2012 年提出。 1. 核心思想 Drop-out 的核心思想非常直观：在训练过程中，随机地“关闭”（失活）一部分神经元。 想象一 阅读全文
posted @ 2025-11-12 17:22
PKICA
阅读(32)
评论(0)
推荐(0)
摘要：
梯度检查（Gradient Checking）中使用的双边逼近（Two-sided Approximation）方法，也称为中心差分法（Central Difference Method）。 1. 梯度检查的目的 在深度学习中，我们使用反向传播算法（Backpropagation）来计算损失函数关于 阅读全文
posted @ 2025-11-12 15:17
PKICA
阅读(9)
评论(0)
推荐(0)
摘要：
泰勒公式（Taylor's Formula）是一种利用函数在某一点的导数值来构造多项式，以近似该函数在该点附近取值的数学工具。它为足够光滑的函数提供了一种多项式展开形式，是微积分中的核心概念之一。 1. 核心概念 泰勒公式的直观思想是：如果已知一个函数𝑓(𝑥)在某一点 𝑎 的值以及其各阶导数值 阅读全文
posted @ 2025-11-12 14:17
PKICA
阅读(33)
评论(0)
推荐(0)
摘要：
主子式（Principal Minor）是线性代数中一个与矩阵相关的重要概念。 1. 主子式定义 对于一个𝑛×𝑛的方阵𝐀，它的𝑘阶主子式是指从矩阵中选取相同的行号和列号构成的一个𝑘×𝑘子矩阵的行列式。换句话说，如果你选择保留原矩阵的第𝑖1,𝑖2,…,𝑖𝑘行，同时也要保留原矩阵的第 阅读全文
posted @ 2025-11-11 19:02
PKICA
阅读(191)
评论(0)
推荐(0)
摘要：
半正定性（Positive Semi-definiteness）是线性代数中的一个数学性质，主要用于描述实对称矩阵（或复数域上的 Hermitian 矩阵）。 1. 定义 对于一个实对称矩阵𝐀（𝑛×𝑛维），如果对于任意非零的实向量 𝐱（𝑛×1维），以下二次型（Quadratic Form） 阅读全文
posted @ 2025-11-11 16:42
PKICA
阅读(54)
评论(0)
推荐(0)
摘要：
协方差矩阵（Covariance Matrix）是统计学中用于描述多个随机变量之间关系和变异性的重要工具。它是一个对称矩阵，汇总了所有变量对的方差和协方差信息。 1. 定义和作用 方差（Variance）：度量单个变量自身的波动程度，位于矩阵的对角线上。 协方差（Covariance）：度量两个不同 阅读全文
posted @ 2025-11-11 16:13
PKICA
阅读(62)
评论(0)
推荐(0)
摘要：
1. 总平方和SST 总平方和（Total Sum of Squares,SST），也称为总离差平方和，是统计学和回归分析中的一个核心概念。 1.1 定义和作用 总平方和度量了因变量（𝑦）所有观测值相对于其平均值 ȳ（y bar）的总变异（Total Variation）或总波动性。它反映了数据 阅读全文
posted @ 2025-11-11 15:44
PKICA
阅读(186)
评论(0)
推荐(0)
摘要：
点积（Dot Product），又称数量积（Scalar Product）或内积（Inner Product），是线性代数和向量分析中的一个基本运算，它接收两个向量作为输入，并产生一个单一的标量（Scalar，即一个数）作为输出。 点积具有重要的代数和几何意义。 1. 代数定义（如何计算） 2. 几 阅读全文
posted @ 2025-11-11 14:44
PKICA
阅读(14)
评论(0)
推荐(0)
浙公网安备 33010602011771号