随笔分类 - 机器学习
摘要：介绍一个复杂的机器学习系统如何组成 一、照片光学字符识别（Photo Optical Character Recognition，photo OCR） 如查找图片时，输入照片上存在的词语就可以将该照片搜索出来。 OCR步骤：文本检测、字符分割、字符分类（识别） 其中第3步可以利用之前学习的神经网络进
阅读全文
摘要：1. 基于内容的推荐系统（Content-based recommender systems） 如将每部电影的内容划分为爱情元素（romance） $x_1$ +动作元素（action）$x_2$ ，并且有一定的数值描述该电影成分。根据用户对电影的评价分数及相应电影的内容分布情况训练某个用户对于电影
阅读全文
摘要：一、无监督学习 定义：训练数据不带有任何标签。算法的目的是找到数据本身具有的结构特征。 经典的算法：聚类（cluster）、降维（dimensionality reduction） 二、K-means 聚类 2.1 算法步骤： Input: K（簇的数量） 无标签训练集${x^{(1)},x^{(2
阅读全文
摘要：应用于大数据集较为合适的两种算法：随机梯度下降 和 mini-batch 梯度下降。 一、随机梯度下降（stochastic gradient descent） 由于之前实现梯度下降时，每次迭代都需要考虑所有样本，因此也称为批量梯度下降(batch gradient descent)。如 $\the
阅读全文
摘要：例：飞机引擎检测、欺诈检测（用户的网站行为检测） 一、高斯分布 $X\sim N(\mu,\sigma^2)$ $p(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$ 参数估计：估计参数 $\
阅读全文
摘要：SVM 也被称作大间距分类器。对非线性分类有较好的处理。SVM处理的问题都是凸优化问题，因此找到的几乎都是全局最优值。而神经网络存在局部最优的问题。 一、优化目标 Support vector machine Hypothesis（SVM的数学定义） 二、SVM的直观解释 假设中的 $C$ 作用等效
阅读全文
摘要：一、非线性假设 当输入特征数量非常大时，线性假设不再适用。 二、神经元与大脑 “神经重接实验”: 让处理听觉的神经断开，转而接上视觉神经的信息输入，听觉神经会学会“看到”东西。也许存在一种学习算法，可以同时实现对视觉、听觉、触觉等的处理，让大脑自己学习如何处理不同的数，而不用大量不同的算法分开处理。
阅读全文
摘要：一、评估假设（欠拟合/过拟合） 划分数据集 随机划分选取数据（若数据本身已经是随机分布的，则取前70%和后30%即可） 训练集 : 测试集 = 7 : 3 对线性/逻辑回归评估 从训练集学习到参数 $\theta$ 计算测试集误差 $J_{test}(\theta)$ 对于线性回归： $J_{\te
阅读全文
摘要：一、欠/过拟合问题（Under fitting/Overfitting Problem） 欠拟合 拟合偏差非常大，用于预测时误差也会非常大。 过拟合 方差非常大，即拟合曲线与训练数据拟合得非常好以至于曲线非常复杂，导致缺乏足够的数据来约束，不能很好地泛化到新的样本数据中。 解决拟合问题 减少特征的数
阅读全文
摘要：一、分类问题介绍 $y\in{0,1}$ 0: Negative Class 1: Positive Class 例子：邮件分类；肿瘤分类； Logistic Regression的特点 其预测值介于0-1间，而不会大于1或小于0 事实上并不是回归，而是分类，命名属于历史问题 二、Logistic
阅读全文
摘要：一、模型描述 建立y关于x的线性函数 Hypothesis Function:$H_\theta(x)=\theta_0+\theta_1 x$ 用$H_\theta(x)$来拟合y与x的关系 Parameters:$\theta_0,\theta_1$ 需要估计的参数 Cost Function:
阅读全文
摘要：声明：本系列十二篇文章均为[中英字幕]吴恩达机器学习系列课程_哔哩哔哩_bilibili学习笔记，另外收集了课程相关课件、作业原题及参考源码，以及我的笔记原文件，已经放在我的github上，欢迎大家取用~ 侵删~ 一、概述 学习算法是一组工具，如何正确使用这些工具是最重要的 定义：计算机从经验E中学
阅读全文
浙公网安备 33010602011771号