Loading

摘要: 异常检测 异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这个算法的一个有趣之处在于:它虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题。 何为异常检测? 假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行QA(质量控制测 阅读全文
posted @ 2021-06-15 09:15 mmmhongyu 阅读(272) 评论(0) 推荐(0)
摘要: 降维 降维可以压缩数据,使得数据占用较少的磁盘空间,还可以加速学习算法。 数据压缩 下面看这样一个例子: 假设这个数据集中的样本有两个特征,两个特征都表示物体的长度,因此是高度冗余的,那么我们会希望将这个2维数据压缩到1维。(因为都是四舍五入之后的数据,所以画出来不会在一条直线上。) 把不同的样本用 阅读全文
posted @ 2021-06-15 09:09 mmmhongyu 阅读(258) 评论(0) 推荐(0)
摘要: 聚类 无监督学习使用的是无标签的数据,研究的是数据之间隐藏的内在结构。 K-Means算法(K均值聚类算法) 因此,我们希望有一种算法能够自动地将这些数据,分成有紧密关系的子集(簇,cluster)。 K-Means算法是现在最为广泛运用的聚类算法。下面通过图像具体说明执行过程: 有这样一个数据集, 阅读全文
posted @ 2021-06-15 09:03 mmmhongyu 阅读(346) 评论(0) 推荐(0)
摘要: 支持向量机(Support Vector Machines SVM) 支持向量机是一个二分类模型。比起逻辑回归和神经网络,SVM在学习某些复杂的非线性方程时能够提供一种更为清晰和更为强大的方式。 首先回顾一下之前所学过的逻辑回归的假设函数: \(h_\theta(x)=g(z)=g(\theta^T 阅读全文
posted @ 2021-06-15 08:58 mmmhongyu 阅读(267) 评论(0) 推荐(0)
摘要: 机器学习系统设计 常见的思想 在设计复杂的机器学习系统时可能会遇到一系列不同的问题。 以垃圾邮件分类为例子,下面会学习一些关于构建机器学习系统的知识。 假设垃圾邮件的训练集对于垃圾邮件和非垃圾邮件已经有了数字表示的标签。 即分类标签:y=1表示垃圾邮件,y=0表示非垃圾邮件。 显然这是一个监督学习问 阅读全文
posted @ 2021-06-09 11:23 mmmhongyu 阅读(143) 评论(0) 推荐(0)
摘要: 机器学习诊断法 当我们在开发一款机器学习系统时,总有想要改进算法的时候,这个时候就需要对所用的算法进行诊断,判断接下来该选择从哪些方面入手提高算法的性能。 评估假设函数 以房屋售价为例子。 当我们在选择假设函数的参数$\theta$时,有的人会选择能使训练误差最小的参数来进行拟合。 但是回想之前学过 阅读全文
posted @ 2021-06-09 11:09 mmmhongyu 阅读(276) 评论(0) 推荐(0)
摘要: 神经网络2 以分类问题为例子。 我们有这样一个神经网络,以及这样一个训练集: 令L表示网络的总层数,显然此处$L=4$ $s_l$表示第l层的单元数(神经元数),显然此处$s_1=3、s_2=5、s_3=5、s_4=4=s_L$ 二分类问题时 在二分类问题中,\(y=0 or 1\),且只会有一个输 阅读全文
posted @ 2021-06-09 10:58 mmmhongyu 阅读(162) 评论(0) 推荐(0)
摘要: 神经网络 神经网络是一种古老的算法, 20世纪40年代提出后沉寂了相当一段时间。随着技术和材料的进步,神经网络又再次回到人们的视野当中,称为解决机器学习问题的首选算法。 非线性分类问题 考虑有这样一个分类问题 欲解决这个问题,如果利用逻辑回归算法,首先要构造一个如上图右式所示的包含非常多非线性项的假 阅读全文
posted @ 2021-06-09 10:54 mmmhongyu 阅读(257) 评论(0) 推荐(0)
摘要: 过拟合问题 在学习正则化之前,我们需要先了解这样几个概念。 以线性回归为例 以房屋售价的线性回归模型为例子 能够看出这个假设函数并没有很好地拟合数据集,因此称之为欠拟合,也叫高偏差(bias)。 如果加一个二次多项式项,得出的假设函数图像能够与数据集进行较好的拟合。 倘若再极端一些,我们加入更高次的 阅读全文
posted @ 2021-06-09 10:49 mmmhongyu 阅读(229) 评论(0) 推荐(0)
摘要: 逻辑回归 前面有学到过,可以按照任务的种类,将任务分为回归任务和分类任务。 这两者的区别在于,输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题成为分类问题。 譬如,我们要预测的结果是一个数,通过房屋面积来预测房屋的售价,房屋的售价可能会有无数多种,有卖几百万的, 阅读全文
posted @ 2021-06-09 10:45 mmmhongyu 阅读(273) 评论(0) 推荐(0)