Loading

摘要: 机器学习系统设计 常见的思想 在设计复杂的机器学习系统时可能会遇到一系列不同的问题。 以垃圾邮件分类为例子,下面会学习一些关于构建机器学习系统的知识。 假设垃圾邮件的训练集对于垃圾邮件和非垃圾邮件已经有了数字表示的标签。 即分类标签:y=1表示垃圾邮件,y=0表示非垃圾邮件。 显然这是一个监督学习问 阅读全文
posted @ 2021-06-09 11:23 mmmhongyu 阅读(143) 评论(0) 推荐(0)
摘要: 机器学习诊断法 当我们在开发一款机器学习系统时,总有想要改进算法的时候,这个时候就需要对所用的算法进行诊断,判断接下来该选择从哪些方面入手提高算法的性能。 评估假设函数 以房屋售价为例子。 当我们在选择假设函数的参数$\theta$时,有的人会选择能使训练误差最小的参数来进行拟合。 但是回想之前学过 阅读全文
posted @ 2021-06-09 11:09 mmmhongyu 阅读(276) 评论(0) 推荐(0)
摘要: 神经网络2 以分类问题为例子。 我们有这样一个神经网络,以及这样一个训练集: 令L表示网络的总层数,显然此处$L=4$ $s_l$表示第l层的单元数(神经元数),显然此处$s_1=3、s_2=5、s_3=5、s_4=4=s_L$ 二分类问题时 在二分类问题中,\(y=0 or 1\),且只会有一个输 阅读全文
posted @ 2021-06-09 10:58 mmmhongyu 阅读(162) 评论(0) 推荐(0)
摘要: 神经网络 神经网络是一种古老的算法, 20世纪40年代提出后沉寂了相当一段时间。随着技术和材料的进步,神经网络又再次回到人们的视野当中,称为解决机器学习问题的首选算法。 非线性分类问题 考虑有这样一个分类问题 欲解决这个问题,如果利用逻辑回归算法,首先要构造一个如上图右式所示的包含非常多非线性项的假 阅读全文
posted @ 2021-06-09 10:54 mmmhongyu 阅读(258) 评论(0) 推荐(0)
摘要: 过拟合问题 在学习正则化之前,我们需要先了解这样几个概念。 以线性回归为例 以房屋售价的线性回归模型为例子 能够看出这个假设函数并没有很好地拟合数据集,因此称之为欠拟合,也叫高偏差(bias)。 如果加一个二次多项式项,得出的假设函数图像能够与数据集进行较好的拟合。 倘若再极端一些,我们加入更高次的 阅读全文
posted @ 2021-06-09 10:49 mmmhongyu 阅读(230) 评论(0) 推荐(0)
摘要: 逻辑回归 前面有学到过,可以按照任务的种类,将任务分为回归任务和分类任务。 这两者的区别在于,输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题成为分类问题。 譬如,我们要预测的结果是一个数,通过房屋面积来预测房屋的售价,房屋的售价可能会有无数多种,有卖几百万的, 阅读全文
posted @ 2021-06-09 10:45 mmmhongyu 阅读(273) 评论(0) 推荐(0)
摘要: Octave Octave能够更好地实现并快速地掌握机器学习算法。之后再用Java、C++或Python之类的语言去重新实现,会节约很多时间。Octave和MATLAB几乎完全相同,因为Octave开源且免费,安装使用起来比MATLAB更方便,所以我在这里选择使用Octave作为我机器学习入门的语言 阅读全文
posted @ 2021-06-09 10:41 mmmhongyu 阅读(753) 评论(0) 推荐(0)
摘要: 正规方程(Normal Equation) 在某些问题中,用正规方程求解参数$\theta$的最优值更好。 相比梯度下降的多次迭代,正规方程可以一次性求出参数$\theta$的最优值,它提供了一种求解参数$\theta$的解析解法。 正规方程法概览 首先假设有这样一个代价函数$J(\theta)=a 阅读全文
posted @ 2021-06-09 10:30 mmmhongyu 阅读(408) 评论(0) 推荐(0)
摘要: 多项式回归 数据集不总可以用一次函数去拟合,实际情况中,数据集往往需要构建二次函数乃至于三次函数等高次函数去拟合,此时就需要构建多项式回归模型。 特征的选择 以预测房价为例,给定的数据集中有两个特征,分别是临街宽度和垂直宽度,如图: 靠近马路的一边为临街宽度,另一边为垂直宽度。 容易得出假设函数$h 阅读全文
posted @ 2021-06-09 10:29 mmmhongyu 阅读(217) 评论(0) 推荐(0)
摘要: 多元线性回归 实际应用中我们不可能总是遇到单变量,或者说单特征值(详见2号笔记)的线性回归模型。 下图是以房屋售卖为例的多元线性回归模型 |面积|卧室数量|楼层数量|房龄|价格| | | | | | | |2104|5|1|45|460| |1416|3|2|4|232| |1534|3|2|30| 阅读全文
posted @ 2021-06-09 10:25 mmmhongyu 阅读(355) 评论(0) 推荐(0)
摘要: 单元线性回归模型 当您要根据单个输入值x预测单个输出值y时,使用单变量线性回归。 我们在这里进行有监督的学习,因此这意味着我们已经对输入/输出因果关系应该有所了解。 在监督学习中,我们有一个数据集,这个数据集被称为训练集。 以住房价格为例: 算法的任务是从这个数据集(训练集)中学习如何预测房价 | 阅读全文
posted @ 2021-06-09 10:13 mmmhongyu 阅读(325) 评论(0) 推荐(0)
摘要: #机器学习 21世纪,机器学习可以说是已经嵌入到我们生活中的方方面面。我们可能一天用到机器学习数十次而没有丝毫察觉。 当我们用到百度、Google等搜索引擎时,我们会觉得搜索效果很好,这其实是因为他们的机器学习算法已经知道如何对搜索结果进行排序。 当我们使用邮箱时,邮箱会自动过滤掉垃圾邮件,这也是机 阅读全文
posted @ 2021-06-09 09:54 mmmhongyu 阅读(248) 评论(0) 推荐(0)