随笔分类 -  机器不学习和人工智障

摘要:1.使用梯度下降来处理多元线性回归,下式使我们多元线性回归的假设式,这个模型的参数是从θ0到θn,这里我们不把它看做n个独立的参数,而是把这些参数看做一个n+1维的θ向量,我们的代价函数是J(θ0,θ1,θ2......θn) 但是这里我们不把J看做n+1个数的函数,我们使用更通用的方式将J谢春哥θ 阅读全文
posted @ 2019-01-22 13:43 stone1234567890 阅读(285) 评论(0) 推荐(0)
摘要:1.前面的线性回归只有一个单一特征量,即房屋的面积大小x,我们希望用这个特征量来预测y值,即房屋的价格,就是我们的假设函数。但是当我们有多个变量来来作为预测房屋的价格的一个特征或者一个变量,我们不仅知道了房屋的大小,还知道卧室的个数,楼层的数量以及房子的年龄,这就给了我们更多用来预测价格的信息。 ( 阅读全文
posted @ 2019-01-22 13:04 stone1234567890 阅读(159) 评论(0) 推荐(0)
摘要:1.矩阵:由数字组成的矩形阵列,并写在方括号内 2.向量:只有一列的矩阵,从0开始做下标 3.矩阵乘法没有交换律:AXB!=BXA(矩阵的乘法没有交换律) 矩阵乘法有结合律:AxBxC=(AxB)xC=Ax(BxC) 4.单位矩阵。nxn单位矩阵,不同的单位矩阵有不同的维度n 5.对于任意矩阵A,乘 阅读全文
posted @ 2019-01-22 11:56 stone1234567890 阅读(465) 评论(0) 推荐(0)
摘要:1.梯度下降算法 (1)如上式的梯度下降算法,α是学习速率,它控制着我们以多大的幅度来更新这个参数θj,这个地方第二部分是偏导数项, (2)例1。我们最小化函数只有一个参数的情形,加入我们的成本函数只有一个参数,如下图关于θ1的成本函数是一个凸函数,我们从函数的任一点上开始做梯度下降,梯度下降就是不 阅读全文
posted @ 2019-01-22 09:18 stone1234567890 阅读(205) 评论(0) 推荐(0)
摘要:1.我们之前已经定义了代价函数J,可以将代价函数J最小化的方法,梯度下降是最常用的算法,它不仅仅用在线性回归上,还被应用在机器学习的众多领域中,在后续的课程中,我们将使用梯度下降算法最小化其他函数,而不仅仅是最小化线性回归的代价函数J。本节课中,主要讲用梯度下降的算法来最小化任意的函数J,下图是我们 阅读全文
posted @ 2019-01-21 17:34 stone1234567890 阅读(757) 评论(0) 推荐(0)
摘要:1.下面是我们惯例的公式,有假设函数、参数和代价函数以及我们优化的目标 和上节课不同的是,对代价函数图形化的时候,这次课我们要保留全部参数theta0和theta1,这里是关于房价的训练集,之前我们只有一个参数theta1,画出来的形状是一个碗状函数,当我们有两个参数的时候,J(theta0,the 阅读全文
posted @ 2019-01-21 16:47 stone1234567890 阅读(278) 评论(0) 推荐(0)
摘要:1.我们希望找到一条与数据拟合的直线,所以我们构造了下面这个假设函数,包括theta0和theta1,随着参数的选择不同,我们会得到不同的直线,和数据相符额直线如下图绿色直线,代价函数是J(theta0,theta1),我们的目标是最小化代价函数 2.为了更好的使得代价函数J可视化,我们使用一个简化 阅读全文
posted @ 2019-01-21 16:03 stone1234567890 阅读(590) 评论(0) 推荐(0)
摘要:一、简介 1.在线性回归中,我们有一个这样的训练集,M代表训练样本的数量,假设函数即用来进行预测的函数是这样的线性函数的形式,我们接下来看看怎么选择这两个参数: 2.如下图中,怎么选择两个参数来更好的拟合数据呢? 我们要尽量选择参数值,使得在训练集中,给出训练集中的x值,合理准确的预测y值。在线性回 阅读全文
posted @ 2019-01-21 14:59 stone1234567890 阅读(271) 评论(0) 推荐(0)
摘要:一、简介:案例仍然是房价预测的例子,监督学习:每个例子都有一个“正确的”答案 1.m表示训练样本的个数 2.(x,y)表示一个训练样本 3.x(i),y(i),这里i这个上标,不是幂指数,而是训练集的一个索引,指的是表格中的第i行 4.监督学习算法的工作流程:(1)首先向算法中提供训练集;(2)学习 阅读全文
posted @ 2019-01-21 14:31 stone1234567890 阅读(127) 评论(0) 推荐(0)
摘要:一、简介 1.案例:下图是波特兰市城市住房价格数据,我们将根据不同房子的尺寸,对应不同的售价组成的数据集来画图 (1)由上面的数据可以进行模型的拟合,这组数据似乎适合直线,这也是一个回归问题,回归是指预测一个具体的数值输出,另一种常见的监督学习问题,是分类问题,用它来预测离散值的输出,比如观察肿瘤, 阅读全文
posted @ 2019-01-20 22:27 stone1234567890 阅读(140) 评论(0) 推荐(0)
摘要:一、简介 1.在监督学习中,数据集中的每个样本都被标明为阳性样本或者阴性样本,即良性肿瘤或者恶心肿瘤,对于监督学习中的每个样本,我们已经被清楚的告知了什么是正确的答案,即他们是恶心肿瘤还是良性肿瘤,下图左图是监督学习。在无监督学习中,我们用的数据和之前不同,数据样本没有任何标签,都具有相同的标签或者 阅读全文
posted @ 2019-01-19 10:30 stone1234567890 阅读(120) 评论(0) 推荐(0)
摘要:一、简介 0.example:假设你要对房价进行预测,横轴是不同房屋的平方英尺数,纵轴是不同房子的价格,单位是千美元。那么现在有了这些数据,假设你现在有一栋150平方英尺的房子,你想把这个房子卖掉,想知道能卖多少钱。那么什么样的学习算法能帮到你呢? 学习算法能做的一件事就是根据数据画一条直线来拟合数 阅读全文
posted @ 2019-01-19 09:29 stone1234567890 阅读(170) 评论(0) 推荐(0)
摘要:1. (1)熵的概念的引入,首先在热力学中,用来表述热力学第二定律。由玻尔兹曼研究得到,热力学熵与微 观状态数目的对数之间存在联系,公式如下: 信息熵的定义与热力学熵的定义虽然不是一个东西,但是有一定的联系,熵在信息论中表示随机变量不确定度的度量。一个离散随机变量X与熵H(X)的定义为: (2)为了 阅读全文
posted @ 2019-01-14 14:29 stone1234567890 阅读(1755) 评论(0) 推荐(0)
摘要:一、基本形式: 1.在机器学习中,X一般表示m行1列的列向量: 对于一个m行n列的X矩阵而言,每一行是一个样本,每一列是其特征值。给定d个属性描述的示例x=(x1;x2;x3;.........xd),其中xi是在第i个属性上的取值。线性模型试图学得一个通过属性的线性组合来进行函数的预测 即: 而对 阅读全文
posted @ 2019-01-13 09:30 stone1234567890 阅读(229) 评论(0) 推荐(0)