摘要：均值归一化可以让算法运行得更好。 现在考虑这样一个情况：一个用户对所有的电影都没有评分，即上图所示 的Eve用户。现在我们要学习特征向量（假设n=2） 以及用户5的向量θ(5),因为用户Eve没有对任何电影打分，所以前面的一项为0，只有后面正则化的项，所以影响θ取值的只有后面的θ的正则化的项。所以要
阅读全文
随笔分类 - 机器学习
摘要：如上图中的predicted ratings矩阵可以分解成X与ΘT的乘积，这个叫做低秩矩阵分解。 我们先学习出product的特征参数向量，在实际应用中这些学习出来的参数向量可能比较难以理解，也很难可视化出来，但是它们是做为区分不同电影的特征 怎么来区分电影i与电影j是否相似呢？就是判断X(i)与X
阅读全文
摘要：协同过滤算法(collaborative filtering )：同时求θ与x的值 我们有了x的值，来估计θ的值； 我们有了θ的值，来估计x的值； 现在我们不想通过迭代的算法来求θ与x的值，我们想同时求x的值，将两个结合起来得到的代价函数如上图所示，在这个代价函数中，如果将x看作常数，则得到第一个代
阅读全文
摘要：协同过滤(collaborative filtering )能自行学习所要使用的特征 如我们有某一个数据集，我们并不知道特征的值是多少，我们有一些用户对电影的评分，但是我们并不知道每部电影的特征（即每部电影到底有多少浪漫成份，有多少动作成份） 假设我们通过采访用户得到每个用户的喜好，如上图中的Ali
阅读全文
摘要：如何对电影进行打分:根据用户向量与电影向量的内积 我们假设每部电影有两个features,x1与x2。x1表示这部电影属于爱情片的程度，x2表示这部电影是动作片的程度，如Romance forever里面x1为1.0（说明电影大部分为爱情），x2=0.01(说明里面有一点动作场面)。 还是像以前一样
阅读全文
摘要：推荐系统很重要的原因：1》它是机器学习的一个重要应用2》对于机器学习来说，特征是非常重要的，对于一些问题，存在一些算法能自动帮我选择一些优良的features，推荐系统就可以帮助我们做这样的事情。 推荐系统的问题描述 使用电影评分系统，用户用1-5分给电影进行评分（允许评分在0-5之间，为了让在数学
阅读全文
摘要：多元高斯(正态)分布 多元高斯分布有两个参数u和Σ,u是一个n维向量，Σ协方差矩阵是一个n*n维矩阵。改变u与Σ的值可以得到不同的高斯分布。 参数估计（参数拟合），估计u和Σ的公式如上图所示，u为平均值，Σ为协方差矩阵 使用多元高斯分布来进行异常检测 首先用我我们的训练集来拟合参数u和Σ，从而拟合模
阅读全文
摘要：多元高斯分布(multivariate gaussian distribution)有一些优势也有一些劣势，它能捕获一些之前算法检测不出来的异常 一个例子：为什么要引入多元高斯分布 使用数据中心监控机器的例子，有两个features,x1:CUP Load, x2:Memory Use.将这两个fe
阅读全文
摘要：如何构建与选择异常检测算法中的features 如果我的feature像图1所示的那样的正态分布图的话，我们可以很高兴地将它送入异常检测系统中去构建算法。 如果我的feature像图2那样不是正态分布的话，虽然我们也可以很好的运行算法，但是我们通常会使用一些转换方法，使数据看下来更像高斯分布，这样算
阅读全文
摘要：异常检测算法先是将一些正常的样本做为无标签样本来学习模型p(x),即评估参数，然后用学习到的模型在交叉验证集上通过F1值来选择表现最好的ε的值，然后在测试集上进行算法的评估。这儿用到了带有标签的数据，那么为什么不直接用监督学习对y=1和y=0的数据进行学习呢？而是要用到异常检测算法（先对无标签数据进
阅读全文
摘要：利用数值来评价一个异常检测算法的重要性 使用实数评价法很重要，当你用某个算法来开发一个具体的机器学习应用时，你常常需要做出很多决定，如选择什么样的特征等等，如果你能找到如何来评价算法，直接返回一个实数来告诉你算法的好坏，那样你做决定就会更容易一些。如现在有一个特征，要不要将这个特征考虑进来？如果你带
阅读全文
摘要：估计P(x)的分布--密度估计 我们有m个样本，每个样本有n个特征值，每个特征都分别服从不同的高斯分布，上图中的公式是在假设每个特征都独立的情况下，实际无论每个特征是否独立，这个公式的效果都不错。连乘的公式表达如上图所示。 估计p(x)的分布问题被称为密度估计问题（density estimatio
阅读全文
摘要：高斯分布 高斯分布也称为正态分布，μ为平均值，它描述了正态分布概率曲线的中心点。σ为标准差，σ2为方差，σ描述了曲线的宽度。在中心点附近概率密度大，远离中心点概率密度小。 高斯分布图 概率曲线下方的面积为1（积分为1），概率和为1。μ为中心点，σ为宽度。σ小时图形更尖更高，σ大时图形更矮更宽，因为面
阅读全文
摘要：异常检测的例子： 如飞机引擎的两个特征：产生热量与振动频率，我们有m个样本画在图中如上图的叉叉所示，这时来了一个新的样本（xtest），如果它落在上面，则表示它没有问题，如果它落在下面（如上图所示），表示这个样本有些问题，在把它交付给客户之前，我们需要对它做进一步的检测。 对异常检测一般化的描述：
阅读全文
摘要：数据预处理:mean normalization & feature scaling 先进行均值归一化(mean normalization),计算出每个特征的均值(uj),然后用xj-uj来替代，这样归一化后每个特征的均值就为0了 由于不同特征的取值范围有很大的不同（如一个为房子面积，一个为房间数
阅读全文
摘要：PCA要做什么？ 我们想将数据从二维降到一维，那么怎么找到这条好的直线对数据进行投影呢？ 上图中红色的那条直线是个不错的选择，因为点到投影到这条直线上的点之间的距离(蓝色的线)非常小;反之那条粉红色的线，数据投影到这条线上的距离非常大，所以PCA会选择红色的那条线而不是粉色的那条线。 PCA要做的就
阅读全文
摘要：如果我们能更好地理解我们的数据，这样会对我们开发高效的机器学习算法有作用，将数据可视化(将数据画出来能更好地理解数据)出来将会对我们理解我们的数据起到很大的帮助。 高维数据如何进行显示 GDP: gross domestic product 假设我们可能有50个features，那么我们怎么查看我们
阅读全文
摘要：data compression可以使数据占用更少的空间，并且能使算法提速 什么是dimensionality reduction(维数约简) 例1:比如说我们有一些数据，它有很多很多的features,取其中的两个features,如上图所示，一个为物体的长度用cm来度量的，一个也是物体的长度是用
阅读全文
摘要：目前决定cluster数目的常用方法是手动地决定cluster的数目 哪个K是正确的? 上图中的数据集，我们可以说它有4个clusters，也可以说它有2个clusters,但哪个是正确答案呢？其实这儿没有正确答案，数据集要划分的cluster的数目本来就是模拟两可的，可以是2个，3个，4个。这也是
阅读全文
摘要：K-means algorithm initialize K-means算法中有一步为随机初始化cluster centroids,这步如何进行，我们将介绍一种运行比较好的方法，这种方法比其它初始化的方法都好 如何random initialize 如右图所示，两个不同的random initial
阅读全文
浙公网安备 33010602011771号