随笔分类 -  机器学习

最大期望算法-EM算法

摘要：EM Jensen不等式： 如果函数f为凸函数，那么存在下列公式： $f(\theta x+(1 \theta)y)\leq\theta f(x)+(1 \theta)f(y)$ 若$\theta_1,\cdots,\theta_k\geq0,\theta_1+\cdots+\theta_k=1$； 阅读全文

posted @ 2019-07-29 20:51 少说话多读书 阅读(281) 评论(0) 推荐(0)

贝叶斯的三个参数估计

摘要：1. 贝叶斯之参数估计 "1. 贝叶斯之参数估计" "1.1. 背景知识" "1.2. 最大似然估计（MLE）" "1.3. 最大后验概率估计（MAP）" "1.4. 贝叶斯估计" "1.5. 什么时候 MAP 估计与最大似然估计相等" 1.1. 背景知识 概率与统计 概率：在给定数据生成过程下观测 阅读全文

posted @ 2019-07-25 23:00 少说话多读书 阅读(3669) 评论(0) 推荐(0)

决策树算法

摘要：1. 决策树算法 1.1 背景知识 信息量$I(X)$：指一个样本/事件所蕴含的信息，如果一个事情的概率越大，那么就认为该事件所蕴含的信息越少，确定事件不携带任何信息量 $I(X)= log(p(x))$ 信息熵$H(X)$：用来描述系统信息量的不确定度（均值），熵只依赖于随机变量X的分布，与取值无 阅读全文

posted @ 2019-07-17 22:42 少说话多读书 阅读(1156) 评论(0) 推荐(0)

支持向量机推导及其实现

摘要：支持向量机 背景知识 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值 问题，一般分为以下三种情况(备注：除非函数是凸函数，否则以下方法求出来的解可能为局部最优解） 无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等； 等式约束条件：求解方式一般为拉格朗日乘子法 阅读全文

posted @ 2019-07-14 21:21 少说话多读书 阅读(1468) 评论(0) 推荐(0)

线性模型之LDA和PCA推导

摘要：线性模型之LDA和PCA 线性判别分析LDA LDA是一种无监督学习的降维技术。 思想：投影后类内方差最小，类间方差最大，即期望同类实例投影后的协方差尽可能小，异类实例的投影后的类中心距离尽量大。 二分类推导 给定数据集$D=\{(x_i,y_i)\}_{i=1}^m$，令$X_i，\mu_i，\s 阅读全文

posted @ 2019-07-07 17:09 少说话多读书 阅读(779) 评论(2) 推荐(0)

线性模型之对数几率回归

摘要：线性模型之对数几率回归 广义线性模型：$y=g^{ 1}(w^Tx+b)$ $g^{ 1}(x)$，单调可微函数 如果用线性模型完成分类任务如何做? 根据线性模型可知，找到一个单调可微函数将分类任务的真实标记$y_i$与线性模型的预测值联系起来即可。 广义线性模型对样本要求不必要服从正态分布、只需要 阅读全文

posted @ 2019-07-06 21:16 少说话多读书 阅读(861) 评论(0) 推荐(0)

线性模型之线性回归

摘要：线性回归： $h_\theta (x) = \theta_0 + \theta_1x_1+\cdots + \theta_nx_n = X\theta$ 假设函数$h_\theta (x)$为$m+1$的向量。$\theta$为$(n+1) 1$的向量，里边有n+1个代数的模型参数，$X$为$m ( 阅读全文

posted @ 2019-07-05 00:02 少说话多读书 阅读(689) 评论(0) 推荐(0)