随笔分类 -  machine learning

machine learning 之 Recommender Systems
摘要：整理自Andrew Ng的machine learning 课程 week 9. 目录： Problem Formulation（问题的形式） Content Based Recommendations（基于内容的推荐） Collaborative Filtering（协同过滤） Collabora 阅读全文
posted @ 2018-05-22 21:07 Echo_fy 阅读(150) 评论(0) 推荐(0)
machine learning 之 Anomaly detection
摘要：自Andrew Ng的machine learning课程。 目录： Problem Motivation Gaussian Distribution Algorithm Developing and Evaluating an Anomaly Detection System Anomaly De 阅读全文
posted @ 2018-05-22 13:30 Echo_fy 阅读(384) 评论(0) 推荐(0)
模型选择评估方法
摘要：目录： 留出法（hold-out） 交叉验证法（cross validation） 留一法（Leave-One-Out，LOO） 自助法（bootstrapping） 总结 前提： 总数据集D，数据集大小为n； 训练集S； 测试集T。 1、留出法（hold-out） 直接将数据集D分为两个互斥的集合 阅读全文
posted @ 2018-05-10 10:04 Echo_fy 阅读(552) 评论(0) 推荐(0)
machine learning 之 Neural Network 3
摘要：整理自Andrew Ng的machine learning课程week6. 目录： Advice for applying machine learning （Decide what to do next） Debugging a learning algorithm machine learnin 阅读全文
posted @ 2018-05-04 11:30 Echo_fy 阅读(412) 评论(0) 推荐(0)
machine learning 之 Neural Network 2
摘要：整理自Andrew Ng的machine learning 课程 week5. 目录： Neural network and classification Cost function Backpropagation （to minimize cost function） Backpropagatio 阅读全文
posted @ 2018-05-03 21:58 Echo_fy 阅读(365) 评论(0) 推荐(0)
machine learning 之 Neural Network 1
摘要：整理自Andrew Ng的machine learning课程week 4. 目录： 为什么要用神经网络 神经网络的模型表示 1 神经网络的模型表示 2 实例1 实例2 多分类问题 1、为什么要用神经网络 当我们有大量的features时：如$x_1, x_2,x_3.......x_{100}$ 阅读全文
posted @ 2018-04-28 17:30 Echo_fy 阅读(333) 评论(0) 推荐(0)
machine learning 之 logistic regression
摘要：整理自Adrew Ng 的 machine learning课程week3 目录： 二分类问题 模型表示 decision boundary 损失函数 多分类问题 过拟合问题和正则化 什么是过拟合 如何解决过拟合 正则化方法 模型表示 decision boundary 什么是过拟合 如何解决过拟合 阅读全文
posted @ 2018-04-09 16:37 Echo_fy 阅读(186) 评论(0) 推荐(0)
machine learning 之 导论 一元线性回归
摘要：整理自Andrew Ng 的 machine learnig 课程 week1 目录： 什么是机器学习 监督学习 非监督学习 一元线性回归 模型表示 损失函数 梯度下降算法 模型表示 损失函数 梯度下降算法 1、什么是机器学习 Arthur Samuel不是一个playing checker的高手， 阅读全文
posted @ 2018-04-06 13:04 Echo_fy 阅读(305) 评论(0) 推荐(0)
支持向量机2
摘要：整理自李航老师统计机器学习。 拍照版纸质笔记。 目录： 线性支持向量机与软间隔最大化 学习的对偶算法 支持向量 合页损失函数 核函数与核技巧 非线性支持向量机 序列最小最优化（SMO）算法 序列最小最优化（SMO）算法 支持向量机的学习问题即凸二次规划的求解问题，有很多的算法可以进行求解。但是当训练 阅读全文
posted @ 2018-04-03 09:24 Echo_fy 阅读(155) 评论(0) 推荐(0)
machine learning 之 多元线性回归
摘要：整理自Andrew Ng的machine learning课程 week2. 目录： 多元线性回归 Multivariates linear regression /MLR Gradient descent for MLR Feature Scaling and Mean Normalization 阅读全文
posted @ 2018-04-02 10:31 Echo_fy 阅读(421) 评论(0) 推荐(0)
Gradient Descent
摘要：整理自Andrew Ng的machine learning课程。 目录： 梯度下降算法 梯度下降算法的直观展示 线性回归中的梯度下降 前提： 线性回归模型 ：$h(\theta_0,\theta_1)=\theta_0+\theta_1x$ 损失函数：$J(\theta_0,\theta_1)=\f 阅读全文
posted @ 2018-03-24 20:35 Echo_fy 阅读(498) 评论(0) 推荐(0)
优化问题及KKT条件
摘要：整理自其他优秀博文及自己理解。 目录 无约束优化 等式约束 不等式约束（KKT条件） 1、无约束优化 无约束优化问题即高数下册中的 “多元函数的极值" 部分。 驻点：所有偏导数皆为0的点； 极值点：在邻域内最大或最小的点； 最值点：在定义域内最大或最小的点； 关系： 驻点不一定是极值点，极值点一定是 阅读全文
posted @ 2018-03-24 12:13 Echo_fy 阅读(976) 评论(0) 推荐(0)
拉格朗日对偶性
摘要：整理自统计机器学习附录C。 目录： 原始问题 对偶问题 原始问题与对偶问题的关系 1、原始问题 $\underset{x \in R^n} {min} \quad f(x)$ $s.t. \quad c_i(x) \leq 0,\quad i=1,2,...,k $ $\ \qquad h_i(x) 阅读全文
posted @ 2018-03-23 23:00 Echo_fy 阅读(189) 评论(0) 推荐(0)
svm 之 线性可分支持向量机
摘要：定义：给定线性可分训练数据集，通过间隔最大化或等价的求解凸二次规划问题学习获得分离超平面和分类决策函数，称为线性可分支持向量机。 目录： • 函数间隔 • 几何间隔 • 间隔最大化 • 对偶算法 1、函数间隔 考虑分类算法的两个方面：确信度 + 正确性 确信度：用点到分离超平面的距离表示，间接表示为 阅读全文
posted @ 2018-03-23 15:49 Echo_fy 阅读(428) 评论(0) 推荐(0)
矩阵求导 -- 机器学习常用
摘要：维基百科（最全最详细）： https://en.wikipedia.org/wiki/Matrix_calculus 分子、分母布局： 分子布局：分子为列向量，或者分母为行向量； 分母布局：分母为列向量，或者分子为行向量； 运算类型： 标量，向量，矩阵 运算规则： 矩阵的求导就是在一定规则下把向量或 阅读全文
posted @ 2018-03-23 11:12 Echo_fy 阅读(727) 评论(0) 推荐(1)
梯度 方向导数 偏导数 导数 等值线
摘要：梯度出现在 高等数学下册 的 第九章：多元函数微分法及其应用 第七节： 方向导数与梯度中；（讲的非常清楚） 在讲到这个概念的时候，也是从二元函数开始入手，并没有讨论一元的情况，所以根据我的理解，梯度是一个出现在多元函数里面的概念，不存在一元的讨论里面； 同理，偏导数和方向导数只存在于多元函数的情况下 阅读全文
posted @ 2018-03-22 14:01 Echo_fy 阅读(1661) 评论(0) 推荐(0)