PKICA - 博客园

2025年11月

摘要：线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的有监督学习方法。它既可以用于分类，也可以作为一种数据降维技术，其核心目标是找到一个最佳的线性变换（投影方向），使得数据在新的低维空间中具有最佳的可分性。 1. LDA核心原理最大化类间分离，最小化类内差异阅读全文

posted @ 2025-11-03 11:08 PKICA 阅读(33) 评论(0) 推荐(0)

高斯分布

摘要：高斯分布（Gāosī fēnbù），也称正态分布（zhèngtài fēnbù，英语：Normal distribution），是概率论和统计学中最重要且最常见的概率分布之一。其概率密度函数曲线通常呈钟形（bell-shaped curve），关于均值对称，且大多数数据点集中在中心位置。主要特点阅读全文

posted @ 2025-11-03 11:06 PKICA 阅读(24) 评论(0) 推荐(0)

2025年10月

特征提取之主成分分析PCA

摘要：主成分分析（Principal Component Analysis，简称PCA）是一种广泛使用的无监督学习算法，主要用于数据降维（Dimensionality Reduction）。 PCA 的核心目标是通过线性变换，将原始数据投影到一个新的坐标系统中。在这个新系统中，数据的大部分方差（信息量）被阅读全文

posted @ 2025-10-31 17:18 PKICA 阅读(39) 评论(0) 推荐(0)

信息论之联合熵、边缘熵、条件熵、交叉熵

摘要： 1. 边缘熵、联合熵及条件熵的概念联合熵（Joint Entropy）是信息论中的一个重要概念，它衡量的是两个或多个随机变量作为一个整体的平均不确定性。边缘熵（Marginal Entropy）是信息论中的一个概念，它指的是在多变量概率分布中，仅考虑单个随机变量时的熵值。这编辑框不支持特殊数学阅读全文

posted @ 2025-10-31 17:10 PKICA 阅读(25) 评论(0) 推荐(0)

信息论之互信息MI

摘要：互信息（Mutual Information，MI）是信息论中的一个核心概念，用于衡量两个随机变量之间相互依赖性的程度。简单来说，它告诉我们，了解一个变量的多少信息能帮助我们预测另一个变量。 1. 互信息的概念互信息可以被看作是一个变量中包含的另一个变量的信息量。如果两个变量完全独立：互信息为零阅读全文

posted @ 2025-10-31 16:12 PKICA 阅读(11) 评论(0) 推荐(0)

卡方检验

摘要：卡方检验（Chi-squared test，记作𝜒2检验）是一种常用的统计假设检验方法，在机器学习中主要用于特征选择，特别是处理分类变量时。 1. 卡方检验的核心目的卡方检验的核心目的是判断两个分类变量之间是否相互独立（即没有关联）。原假设（𝐻0）：两个变量是相互独立的，观察频数与期望频数没阅读全文

posted @ 2025-10-31 14:43 PKICA 阅读(20) 评论(0) 推荐(0)

切比雪夫距离公式推导

摘要：切比雪夫距离公式的推导主要依赖于𝐿𝑝范数（即明可夫斯基距离）在𝑝→∞时的极限性质。阅读全文

posted @ 2025-10-31 10:59 PKICA 阅读(6) 评论(0) 推荐(0)

机器学习之L2 正则化

摘要： L2 正则化，也称为岭回归（Ridge Regression），是一种在机器学习中用于防止过拟合的正则化技术。它通过在模型的损失函数中添加一个惩罚项来实现，该惩罚项是模型系数的平方和。 1. L2 正则化的工作原理 L2 正则化的核心思想是限制模型系数（权重）的平方和，使其向零收缩，但通常不会精确阅读全文

posted @ 2025-10-31 10:30 PKICA 阅读(26) 评论(0) 推荐(0)

机器学习之L1正则化

摘要： L1正则化，也称为Lasso 回归（Least Absolute Shrinkage and Selection Operator），是一种在机器学习中用于防止过拟合和进行特征选择的常用技术。它通过在模型的损失函数中添加一个惩罚项来实现这一目的。 1. L1 正则化的工作原理 L1正则化的核心思想是阅读全文

posted @ 2025-10-31 10:00 PKICA 阅读(134) 评论(0) 推荐(0)

明可夫斯基距离

摘要：明可夫斯基距离（Minkowski distance）是一种在多维空间中度量两点之间距离的广义度量。它以一个可调节的参数来控制距离的计算方式，从而涵盖了多种常见的距离度量，如欧几里得距离和曼哈顿距离，使其在机器学习和数据分析中非常灵活。阅读全文

posted @ 2025-10-30 16:35 PKICA 阅读(8) 评论(0) 推荐(0)

公告