随笔分类 -  机器学习

监督分类
摘要：监督学习 ​ 监督学习利用大量的标注数据来训练模型, 通过模型的预测和真实标签的构造损失函数, 最小化损失函数进行反向传播, 通过不断学习迭代更新, 最终得到训练好的模型, 使模型具有识别新样本能力. 中的常用算法包括逻辑回归、朴素贝叶斯、人工神经网络、支持向量机和随机森林, 在回归和分类中, 目标 阅读全文
posted @ 2021-12-10 11:02 owo_owo 阅读(431) 评论(1) 推荐(1)
线性分类-感知机模型
摘要：线性分类-感知机模型 思想 错误驱动 假设数据 $ {(x_i,y_i)}_{i = 1}{N}、x_i \in Rp、y \in {-1, 1}$ 对于感知机模型： \[ f(x) = sign(w^Tx) \quad x\in R^p, w \in R^p \\ sing(a) = \begin 阅读全文
posted @ 2021-11-21 21:43 owo_owo 阅读(106) 评论(1) 推荐(1)
线性分类-逻辑回归
摘要：线性分类-逻辑回归 思想 线性回归模型是通过对数据的拟合得到一个线性方程，实现的是对连续目标的 \(X\) ，预测 \(Y\)，其范围在 \([+\infty, -\infty]\) 之间；而对于线性分类问题我们是要得到 $ {0, 1},或者 [0, 1]$ ，那如何通过线性回归到线性分类函数上呢 阅读全文
posted @ 2021-11-21 18:08 owo_owo 阅读(111) 评论(1) 推荐(1)
主成分析法-PCA
摘要：PCA 解决过拟合的三个方法： 提升数据量 正则化 降维 直接降维（直接选择某些重要的特征） 线性降维（PCA, MDS） 非线性降维（流形，Isomap，LLE） 数据维度过多会导致数据稀疏性增大，形成维度灾难 思想 数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐 阅读全文
posted @ 2021-11-12 16:37 owo_owo 阅读(394) 评论(1) 推荐(1)
线性判别器（LDA）
摘要：线性判别器（LDA） 线性判别器思想：类内小，类间大；通过选择一个投影方向将 \(p\) 维数据进行投影到 一维直接上，并且在这直线可以通过一个阈值进行分类。所以我们要找 \(w\)。 首先我们做以下定义： 数据集 $ {(x_i,y_i)}_{i=1}{N}、x \in Rp、 y \in {+1 阅读全文
posted @ 2021-11-08 21:20 owo_owo 阅读(298) 评论(1) 推荐(1)
SVM-支持向量机
摘要：SVM svm 解决的是分类问题，目的是在一个数据集中，找到一个超平面，能将数据集正确的分类 svm 三个重要的东西：间隔、对偶、核函数 最大间隔分类器 假设数据集(data)：\(\{x_i, y_i\}_{i = 1}^{N}\quad x_i\in R^p、y_i \in \{+1, -1\} 阅读全文
posted @ 2021-11-03 21:32 owo_owo 阅读(55) 评论(1) 推荐(1)
最大似然函数
摘要：最大似然估计 概率 定义 某个事件发生的可能性，通常知道分布规律以及具体参数的情况下，就可以计算出某个事件发生的概率 似然 定义 给定已知数据来拟合模型，或者说给定某一结果，求某一参数值的可能性 似然函数与概率密度函数 设总体分布 \(f(X;\theta)\)，\(x1, ...,x_n\) 是从 阅读全文
posted @ 2021-11-01 16:36 owo_owo 阅读(777) 评论(1) 推荐(1)
信息量、熵、互信息
摘要：信息量 信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定义如下： \[ I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 表示随机变量不 阅读全文
posted @ 2021-10-20 12:04 owo_owo 阅读(727) 评论(1) 推荐(0)