J_K_Guo

摘要： 当我们运用训练好了的模型来预测未知数据时候发现有较大误差，那么我们下一步可以做什么呢？ 一般来说可以选择以下几种方法： 但是要选择什么方法来改进我们的算法，我们需要运用一些机器学习诊断法来协助我们判断。 一、评估h(x) Evaluating a Hypothesis 一个好的Hypothesis： 阅读全文

摘要： Cost Function: 前向传播（Forward propagation） 反向传播（Back propagation） 对于反向传播算法最直观的表示就是对于每个节点都计算这样一项（误差项）： 计算完每个节点的误差之后我们便可以得到损失函数对于所有参数的偏导数： 注：这里忽略了正则化项。（aj 阅读全文

摘要： 摘要 本文提出了一个通过对抗过程来预测产生式模型的新框架。在新框架中我们同时训练两个模型：一个用来获得数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率，让其无法判断一个图像是由生成模型产生的，还是来自训练样本．这个框架相当于一个极小 阅读全文

摘要： 无论是线性回归还是逻辑回归，都有一个问题：当特征数量太多时，特征项将会非常多甚至可能随着特征数的增加呈几何级数递增。那么就会使得计算负荷非常高。 比如我们输入的特征是一张50*50的灰度图，并且将所有的像素视为特征，那么就会有2500个特征。如果要进一步把这些特征两两组合构成一个多项式模型，那么将会 阅读全文

摘要： 是什么？ 如果我们有非常多的特征，通过学习得到的hypothesis可能能够好地适应训练集（代价函数可能几乎为0），但是对于新的数据不能很好的预测（泛化能力差）。 如图： 模型一：欠拟合（Underfitting） 模型三：过拟合（Overfitting） 怎么克服？ 一般参数越少，得到的hypot 阅读全文

摘要： Matlab中fminunc函数的意义 以及options函数的初级用法。 本文问题出自Stanford大学 Andrew Ng老师的机器学习week 3 Logistic Regression Model 中出现如下高级函数： 该过程涉及matlab两个函数 fminunc 和options; 要 阅读全文

摘要： 对于多类别的分类问题，我们又该怎么用线性回归或者逻辑回归等方法去完成分类呢？ 思想：一对多（一对余） 过程看图： 我们将一系列的模型记为： 在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。 要做的就是在我们三个分类器里面输入 x，然后我们选择一个让 阅读全文

摘要： 广义线性模型：使用单调可微的联系函数g(.)，令hΘ(x) = g(ΘTx) logistic regression用来干什么？ 完成分类任务。 为什么要用logistic regression？ 如果使用线性回归处理分类任务会存在以下两个问题： （1）预测值y取值为0或者1，但是hΘ(x)的值可能 阅读全文

摘要： 对于某些线性回归问题，正规方程方法可能更加简单高效。 正规方程推导过程如下： 梯度下降法和正规方程的比较： 总结： 只要特征数量并不是特别大，对于线性回归问题正规方程是一个比梯度下降算法更快的替代算法。但是当特征数量非常多的时候或者模型更复杂的时候（比如logistic regression等），正 阅读全文

摘要： 在拿到一组数据时，我们需要先观察数据选择特征甚至构造特征，然后选择合适的模型。 线性回归并不适用所有数据，有时候我们需要用曲线来拟合我们的数据。 比如一个二次模型： 或者三次模型： 对于多项式模型，我们可以构造特征如： x2 = x22 x3 = x33 从而可以把模型转化为线性回归模型。 注：在构 阅读全文