KID_XiaoYuan

【机器学习】异常检测算法(I)

摘要：在给定的数据集，我们假设数据是正常的，现在需要知道新给的数据Xtest中不属于该组数据的几率p（X）。异常检测主要用来识别欺骗，例如通过之前的数据来识别新一次的数据是否存在异常，比如根据一个用户以前的使用习惯（数据）来判断这次使用的用户是不是以前的用户。或者根据之前CPU正常运行时候的的用量数据阅读全文

posted @ 2017-08-18 10:40 KID_XiaoYuan 阅读(974) 评论(0) 推荐(0)

【机器学习】主成分分析法 PCA （II）

摘要：主成分分析法（PAC）的优化——选择主成分的数量根据上一讲，我们知道协方差为① 而训练集的方差为②。我们希望在方差尽可能小的情况下选择尽可能小的K值。也就是说我们需要找到k值使得①/②的值尽可能小（≤0.01）那么我们可以先令K = 1 然后进行主要成分分析，得到U reduce 和 Z 计阅读全文

posted @ 2017-08-17 17:05 KID_XiaoYuan 阅读(555) 评论(0) 推荐(0)

【机器学习】主成分分析法 PCA （I）

摘要：主成分分析算法是最常见的降维算法，在PCA中，我们要做的是找到一个方向向量，然后我们把所有的数都投影到该向量上，使得投影的误差尽可能的小。投影误差就是特征向量到投影向量之间所需要移动的距离。 PCA的目的是找到一个最下投影误差平方的低维向量，对原有数据进行投影，从而达到降维的目的。下面给出主成分分阅读全文

posted @ 2017-08-17 11:58 KID_XiaoYuan 阅读(1091) 评论(0) 推荐(0)

【机器学习】支持向量机（SVM）的优化算法——序列最小优化算法（SMO）概述

摘要： SMO算法是一一种启发式算法，它的基本思路是如果所有变量的解的条件都满足最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该优化问题的充分必要条件。整个SMO算法包括两个部分： 1）求解两个便令的二次归化的解析方法 2）选择变量的启发式方法。 SMO算法的特点是不断地讲原二次阅读全文

posted @ 2017-08-16 15:45 KID_XiaoYuan 阅读(553) 评论(0) 推荐(0)

【机器学习】K均值算法（II）

摘要： k聚类算法中如何选择初始化聚类中心所在的位置。在选择聚类中心时候，如果选择初始化位置不合适，可能不能得出我们想要的局部最优解。而是会出现一下情况：为了解决这个问题，我们通常的做法是：我们选取K<m个聚类中心。然后随机选择K个训练样本的实例，之后令k个聚类中心分别与k个训练实例相等。之后我阅读全文

posted @ 2017-08-16 09:58 KID_XiaoYuan 阅读(264) 评论(0) 推荐(0)

【机器学习】K均值算法（I）

摘要： K均值算法是一类非监督学习类，其可以通过观察样本的离散性来对样本进行分类。例如，在对如下图所示的样本中进行聚类，则执行如下步骤 1：随机选取3个点作为聚类中心。 2：簇分配：遍历所有样本然后依据每个点到最近距离进行分类。（在图中用不同颜色标出） 3：移动聚类中心到各个分类样本的平均中心。然后再阅读全文

posted @ 2017-08-15 22:04 KID_XiaoYuan 阅读(669) 评论(0) 推荐(0)

【机器学习】机器学习中的误差减少策略

摘要：测试误差我们在拿到样本后进行机器学习，通常可以将样本分为两部分，比如前70%用来机器学习得到Θ，后30%用来对数据进行检验。如何进行检验？之前我们知道，逻辑回归代价函数JΘ的计算法方法，那么此处同理，我们可以得到对测试数据的JtestΘ的表达式，然后，我们利用剩下的测试数据统计0 / 1错分率阅读全文

posted @ 2017-08-08 09:40 KID_XiaoYuan 阅读(2335) 评论(0) 推荐(1)

【机器学习】Octave 实现逻辑回归 Logistic Regression

摘要： 34.62365962451697,78.0246928153624,0 30.28671076822607,43.89499752400101,0 35.84740876993872,72.90219802708364,0 60.18259938620976,86.30855209546826,1 阅读全文

posted @ 2017-08-07 10:34 KID_XiaoYuan 阅读(2401) 评论(0) 推荐(0)

【算法】map的应用

摘要： map使用参考链接http://www.cnblogs.com/KID-XiaoYuan/articles/7297709.html 题目在ACM比赛中，你每解决一道题，你就可以获得一个气球，不同颜色的气球代表你解决了不同的问题。在WJL同学参加的一场ACM比赛中，他发现场面上有N个气球，并熟练的阅读全文

posted @ 2017-08-07 10:00 KID_XiaoYuan 阅读(389) 评论(0) 推荐(0)

【机器学习】随机初始化思想神经网络总结

摘要：之前在进行梯度下降时，通常我们让Θ等参数为0，这样的做法在逻辑回归中还是可行的，但是在神经网络中，如果你让所有的参数都初始化为0，这将意味着第二层的所有的激活单元都会有相同的值，同理，如果我们初始化所有的参数都是一个非0的数，结果也是一样的。例如在设置初始化参数Θ时，可以用如下方法：小结一下使用阅读全文

posted @ 2017-08-04 15:35 KID_XiaoYuan 阅读(327) 评论(0) 推荐(0)

导航

公告