随笔分类 -  监督学习

LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）
摘要：首先，逻辑回归是一个概率模型，不管x取什么值，最后模型的输出也是固定在（0,1）之间，这样就可以代表x取某个值时y是1的概率 这里边的参数就是θ，我们估计参数的时候常用的就是极大似然估计，为什么呢？可以这么考虑 比如有n个x，xi对应yi=1的概率是pi，yi=0的概率是1-pi，当参数θ取什么值最 阅读全文
posted @ 2019-01-09 11:02 不再悲伤 阅读(3819) 评论(0) 推荐(0)
K近邻法(KNN)原理小结
摘要：一、绪论 K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同 阅读全文
posted @ 2018-12-14 23:14 不再悲伤 阅读(1286) 评论(0) 推荐(0)
Pandas matplotlib 无法显示中文
摘要：Pandas 无法显示中文问题 解决方案 Pandas在绘图时,会显示中文为方块,主要原因有二: matplotlib 字体问题seaborn 字体问题 (实际上，matplotlib是支持unicode编码的，中文乱码得主要问题是没有找到合适的中文字体，在matplotlib的配置文件中，可以看到 阅读全文
posted @ 2018-10-13 00:13 不再悲伤 阅读(12894) 评论(0) 推荐(1)
梯度下降求解逻辑回归
摘要：目标： 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型， 阅读全文
posted @ 2018-10-05 15:26 不再悲伤 阅读(383) 评论(0) 推荐(0)
TypeError: reduction operation 'argmin' not allowed for this dtype
摘要：解决方法：在idxmax()前加.astype(‘float64’) .argmin() .argmax() 计算最大、小值所在位置的索引（针对自动索引的）（适用于Series类型：） .idxmin() .idxmax() 计算最大、小值所在位置的索引（针对自定义索引的）（适用于Series类型： 阅读全文
posted @ 2018-09-24 19:56 不再悲伤 阅读(3151) 评论(1) 推荐(0)
逻辑回归（分类算法）
摘要：1.什么是逻辑回归 在前面讲述的回归模型中，处理的因变量都是数值型区间变量，建立的模型描述是因变量的期望与自变量之间的线性关系。比如常见的线性回归模型： 而在采用回归模型分析实际问题中，所研究的变量往往不全是区间变量而是顺序变量或属性变量，比如二项分布问题。通过分析年龄、性别、体质指数、平均血压、疾 阅读全文
posted @ 2018-09-15 22:23 不再悲伤 阅读(26268) 评论(1) 推荐(1)
梯度下降
摘要：(对最小二乘法和梯度下降的一些区别的理解： 1.最小二乘法可以直接求全局最优解 梯度下降法是一种迭代的求解局部最优解的方法 2.最小二乘法没有“优化”，只有“求解”。算是一个确定性问题。而梯度下降，涉及迭代获取最优解，才算是“优化”。) 1.梯度定义 在微积分里面，对多元函数的参数求∂偏导数，把求得 阅读全文
posted @ 2018-09-15 14:13 不再悲伤 阅读(612) 评论(0) 推荐(0)
最小二乘法模型的推导原理
摘要：一、线性回归 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这 阅读全文
posted @ 2018-09-15 00:53 不再悲伤 阅读(8750) 评论(0) 推荐(0)