随笔分类 -  机器学习---基础算法

课时十一、HMM（隐马尔科夫模型）
摘要：概述 隐马尔科夫模型的贝叶斯网络 x1和z2不独立，x1和x2也不独立 HMM的确定 hmm的参数 HMM的两个基本性质 HMM的3个基本问题 概率计算问题 直接计算法（暴力计算） 定义：前向概率-后向概率 前向算法 后向算法 前向后向概率的关系 单个状态的概率 监督学习方法 两个状态的联合概率 学 阅读全文
posted @ 2020-08-03 23:09 败家小林 阅读(176) 评论(0) 推荐(0)
课时十、主题模型（LDA）
摘要：朴素贝叶斯的分析 Beta分布 共轭先验分布 Dirichlet分布 期望 对称Dirichlet分布 参数分析 多项分布的共轭分布是Dirichlet分布 LDA 解释 迭代求超参方法 主题个数的确定 相似度最小 选取初始的主题个数K，训练LDA模型，计算各主题之间的相似度 增加或减少K的值，重新 阅读全文
posted @ 2020-08-02 11:45 败家小林 阅读(172) 评论(0) 推荐(0)
课时九、贝叶斯网络
摘要：复习 相对熵 互信息 信息增益 概率 贝叶斯公式带来的思考 朴素贝叶斯 假设 一个特征出现的概率，与其他特征（条件）独立（特征独立性） 含义：对于给定分类条件下，特征独立 每个特征同等重要 朴素贝叶斯的推导 高斯朴素贝叶斯 多项朴素贝叶斯 贝叶斯网络 一个简单的贝叶斯网路 全连接贝叶斯网络 一个“正 阅读全文
posted @ 2020-07-28 21:46 败家小林 阅读(110) 评论(0) 推荐(0)
课时八、EM算法(最大期望算法)
摘要：复习Jensen不等式 引子：K-means算法 EM算法 在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。 最大期望经常用在机器学习和计算机视觉的数据聚 阅读全文
posted @ 2020-07-27 22:56 败家小林 阅读(261) 评论(0) 推荐(0)
课时七、聚类
摘要：聚类 聚类定义 对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大，而类别间的数据相似度较小--无监督 相似度计算方法 Jaccard相似度的由来 余弦相似度与Pearson相似系数 基本思想 给定一个有N个对象的数据集，构造数据的k个簇，k<n 。满足以下条 阅读全文
posted @ 2020-07-22 22:24 败家小林 阅读(253) 评论(0) 推荐(0)
课时六、SVM
摘要：线性可分支持向量机 分割超平面 输入数据 整理符号 推导目标函数 最大间隔分割超平面 拉格朗日乘子法 SVM中系数的求解：SMO 线性可分支持向量机学习算法 线性支持向量机 线性支持向量机学习算法 核函数 经典SVM直接输出类别，不给出后验概率 SVM框架引入Logistic函数，输出条件后验概率 阅读全文
posted @ 2020-07-21 22:07 败家小林 阅读(151) 评论(0) 推荐(0)
课时五、boost与adaboost
摘要：提升的概念 提升算法 提升算法推导 梯度提升决策树 决策树的描述 正则项的定义 目标函数的计算 目标函数继续化简 子树划分 Adaboost 误差上限 方差与偏差 Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果 Boosting减少偏差，能够基于泛化能力较弱的学 阅读全文
posted @ 2020-07-15 00:01 败家小林 阅读(233) 评论(0) 推荐(0)
课时四、决策树和随机森林
摘要：决策树 通常决策树主要有三种实现，分别是ID3算法，CART算法和C4.5算法。 随机森林的重点在于单个决策树是如何建造的 CART Classification And Regression Tree，即分类回归树算法，简称CART算法，它是决策树的一种实现. CART算法是一种二分递归分割技术， 阅读全文
posted @ 2020-07-09 23:25 败家小林 阅读(283) 评论(0) 推荐(0)
课时三、回归实践
摘要：一、\(R^{2}\)、RSS、TSS、ESS 局部加权回归 二、二分类：Logistic回归 广义线性模型 对数线性模型 Logistic回归的损失 指数族 多分类：Softmax回归 二、AUC 阅读全文
posted @ 2020-07-08 21:51 败家小林 阅读(155) 评论(0) 推荐(0)
课时二、线性回归
摘要：最小二乘 使用最大似然估计解释最小二乘 中心极限定理（CLT）指出，如果样本量足够大，则变量均值的采样分布将近似于正态分布，而与该变量在总体中的分布无关 高斯分布：若连续型随机变量X的概率密度为：\(f\left ( x \right )=\frac{1}{\sqrt{2\pi }\sigma }e 阅读全文
posted @ 2020-07-07 22:26 败家小林 阅读(252) 评论(0) 推荐(0)
课时一、数据清洗
摘要：预备知识：最大似然估计 概念与解释 具体实践操作 举例 主要内容 PCA方法在鸢尾花样本中的应用 PCA主方向的选择 阅读全文
posted @ 2020-07-06 21:45 败家小林 阅读(189) 评论(0) 推荐(0)