随笔分类 -  ml

machine learning
机器学习--线性回归/局部加权回归/岭回归
摘要：专题--回归 1. 线性回归与岭回归 2. 局部加权回归 线性回归的一个问题是：有可能出现欠拟合，因为它求得是具有最小均方误差的无偏估计。 局部加权回归：给待预测点附近的每个点赋予一定的权重W. 阅读全文
posted @ 2017-07-06 17:23 halo_vagabond 阅读(267) 评论(0) 推荐(0)
机器学习--Logistic回归与极大似然
摘要：一直搞不懂为什么通过极大似然推导Logistic回归，这回找了个详细点的资料，可还不是完全清楚，先贴出： 后序有更深理解再来完善。。。 阅读全文
posted @ 2017-07-06 10:13 halo_vagabond 阅读(361) 评论(0) 推荐(0)
ml--分类与预测算法评价方法
摘要：不想动手编辑了，偷个懒。。。取自《Python数据分析与挖掘实战》第5章 还没用过"Kappa统计"和"多类混淆矩阵"！ 阅读全文
posted @ 2017-06-01 15:46 halo_vagabond 阅读(603) 评论(0) 推荐(0)
machine learning--L1 ,L2 norm
摘要：关于L1范数和L2范数的内容和图示，感觉已经看过千百遍，刚刚看完此大牛博客http://blog.csdn.net/zouxy09/article/details/24971995/，此时此刻终于弄懂了那么一丢丢，赶紧“趁热”记录一番！ 从两个方面看L1 norm和L2 norm的不同： 1.下降速 阅读全文
posted @ 2017-05-09 18:06 halo_vagabond 阅读(665) 评论(0) 推荐(0)
python--线性回归、局部加权回归
摘要：python实战之线性回归、局部加权回归 1.基本概念与思想 回归：求回归方程中回归系数的过程称为回归。 局部加权思想：给待预测点附近的每个点赋予一定的权重。 2.线性回归 回归方程的解： Θ=(XTX)-1XTY (1) 其中，Θ表示回归系数矩阵，X表示样本矩阵，Y表示样本类标矩阵。 3.局部加权 阅读全文
posted @ 2017-05-04 22:24 halo_vagabond 阅读(3349) 评论(0) 推荐(2)
PCA/SVD--怎样确定topNfeat(特征值数目/奇异值数目)
摘要：Coding by Chang, 2017/04/30 1.主成分分析（PCA） 1.1 PCA数学模型 最大可分性出发（参考《机器学习》周志华）：样本点在超平面上的投影能尽可能分开。 即应该使投影后样本点的方差最大化： maxtr(WTXXTW) s.t. WTW=I 这个目标函数可以通过对协方差 阅读全文
posted @ 2017-04-30 12:50 halo_vagabond 阅读(632) 评论(0) 推荐(0)
python--numpy实现pca算法
摘要：Coding by Chang,2017/4/28 编程环境：python27, 依赖库：numpy, 实现算法：主成分分析（pca） 代码实现： 阅读全文
posted @ 2017-04-28 10:30 halo_vagabond 阅读(1311) 评论(0) 推荐(0)