随笔分类 - machine learning 相关
机器学习相关知识
摘要：推荐系统——电影评分 例子：预测电影评分 有如下信息 定义 nu = 用户的数量 nm = 电影的数量 r(i, j) = 1 如果用户 j 给电影 i 打分 y(i, j) = 当 r(i, j) = 1 的情况下，用户 j 给电影 i 打的分数（0-5） 目标：预测 ？的值（未评分用户对电影的评
阅读全文
摘要：假设你有一些数据如下图 这时，给一个新的数据，我们认为这个数据和原来的数据差距不大，因此认为这个数据时正常的 对于下图所示的新数据，我们认为它是“异常点”，因为它距离其他数据较远 一般情况下 异常检测的训练数据集都是正常/都是不正常的数据 然后判断测试数据是否是异常数据 异常检测方法： 根据无标签的
阅读全文
摘要：运用二维降维到一维的例子帮助理解 对于如下二维数据 PCA算法会试图寻找一条直线使得所有数据到这个直线的距离的平方和最小（”投影误差“最小）（图中所有蓝色线长度的平方和）（注意：做PCA之前需要将数据进行标准化，将数据映射到（0，1）区间内） 对于以下两种情况，PCA会选择红色线 更书面的表达 Re
阅读全文
摘要：为什么要降维？ 维数少可以使算法有更快的计算速度，减少机器内存占用等 多个特征携带的“信息”有相同或类似的情况（冗余） 用于数据可视化 如何降维？ 简单的例子，对于二位数据 可以找到一条线 将所有的数据映射到这条线上 然后用映射后的一维数据去代表二位数据 三维降维到二维的例子，假设数据如下 这时，表
阅读全文
摘要：先用图来描述K-means怎么做的 对于如下数据 如果你想分成2类（k=2），算法会随机生成两个聚类中心 然后会分别计算每个数据（绿点）与聚类中心的距离（一般是欧式距离），来决定属于哪个类（距离哪个聚类中心近） 这样，就得到了数据的第一次分类，接下来算法会计算已分类的数据的“中心”，将它们作为新的聚
阅读全文
摘要：对于非线性“Decision Boundary” 如果用传统的多项式回归，有 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + {\theta _3}{x_1}{x_2} + {\t
阅读全文
摘要：向量的内积（inner product） 对于向量 \[\begin{array}{l}u = \left[ {\begin{array}{*{20}{c}}{{u_1}}\\{{u_2}}\end{array}} \right]\\v = \left[ {\begin{array}{*{20}{c
阅读全文
摘要：支持向量机的目标是 \[\underbrace {\min }_\theta \left\{ {C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta
阅读全文
摘要：逻辑回归的另一种观点 \[{h_\theta }\left( x \right) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}}\] 如果y=1，我们希望hθ(x)≈1，对应θTx >> 0 如果y=0，我们希望hθ(x)≈0，对应θTx << 0 对于一个样本（x,
阅读全文
摘要：2001年Bank和Bill做了这么一个实验 区分容易混淆的词，如（to, two, too） 比如：For breakfast I ate two eggs. 他们用了不同的算法： Perceptron (Logistic regression) Winnow Memory-based Naïve
阅读全文
摘要：对于癌症检测的例子来说，y=1代表有癌症（1代表数目比较小的类） Precision/Recall \[\Pr ecision = \frac{{True \bullet positive}}{{predicted \bullet positive}} = \frac{{True \bullet p
阅读全文
摘要：Rcommended approach Start with a simple algorithm that you can implement quickly. Implement it and test it on your cross-validation data. Plot learnin
阅读全文
摘要：“Small” neural network (fewer parameters; more prone to underfitting) Computationally cheaper "Large" neural network (more parameters; more prone to o
阅读全文
摘要：学习曲线 “训练误差”和“交叉验证误差”如下 \[\begin{array}{l}{J_{train}}\left( \theta \right) = \frac{1}{{2{m_{train}}}}\sum\limits_{i = 1}^{{m_{train}}} {{{\left( {{h_\t
阅读全文
摘要：正则化后的线性回归模型 模型 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\] \[J\left( \theta
阅读全文
摘要：以下两个图是比较熟悉的高偏差（high bias）与高方差（high variance）的图 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x\] \[{h_\theta }\left( x \right) = {\theta _0
阅读全文
摘要：对于过拟合现象 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} + {\theta _4}{x^4}\] Once parameters θ0,θ1,θ2
阅读全文
摘要：当你的假设函数有很低的“训练错误”（training error）的时候，它不一定是个好的假设函数 如 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x + {\theta _2}{x^2} + {\theta _3}{x^3} +
阅读全文
摘要：调试一个算法 假设你实现了一个用来预测房价的线性回归算法，你的目的是最小化代价函数 \[J\left( \theta \right) = \frac{1}{{2m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\le
阅读全文
摘要：Training a Neural Network Randomly initialize the weights Implement forward propagation to get hΘ(x(i)) for any x(i) Implement the cost function Impl
阅读全文
浙公网安备 33010602011771号