摘要: 回了趟家,一路上来回的重复播放李健的几首歌,现在充电完成,准备工作! Ex4:神经网络学习 ​ 在这一练习中,我们将把神经网络中的后向传播算法应用到手写识别中,在上一个练习中,通过实现神经网络的前馈传播,并用它来预测和写入数字与我们提供的权重(weights)。 在本练习中,我们将实现反向传播算法来阅读全文
posted @ 2017-06-28 21:24 SrtFrmGNU 阅读(9) 评论(0) 编辑
摘要: 神经网络中的代价函数与后向传播算法 代价(损失)函数 ​ 依照惯例,我们仍然首先定义一些我们需要的变量: L:网络中的总层数,$s_l​$:在第l层所有单元(units)的数目(不包含偏置单元),k:输出单元(类)的数目 ​ 回想一下,在神经网络中,我们可能有很多输出节点。 我们将$h_\Theta阅读全文
posted @ 2017-06-19 19:12 SrtFrmGNU 阅读(170) 评论(0) 编辑
摘要: ​ 昨日去了趟无锡,前天下了暴雨,所以昨天给我的感觉天气很好,天蓝云白的,以后在这边学习估计也是一件很爽的事情,且昨日通知书业寄到学校了,附赠了一份研究生数学建模的传单,我搜了搜近几年的题目,感觉统计模块的题目很多,学了一段时间的机器学习现在感觉看懂还是有点小难,但是有几道可以直接看出思路。昨天回来阅读全文
posted @ 2017-06-12 16:21 SrtFrmGNU 阅读(11) 评论(0) 编辑
摘要: ​ 自己好奇搜了几篇别人对Ng视频的的笔记,读下去可观性很强,后回到自己的笔记却觉得矛盾很多,有些地方搞得很模糊,自己没有仔细去想导致写完读起来很怪,此篇之后我决定放慢记笔记的速度,力求尽多地搞清楚模糊点。 ​ 首先之前一直出现的 regression analysis(即:回归分析) 究竟是怎么回阅读全文
posted @ 2017-06-10 17:04 SrtFrmGNU 阅读(13) 评论(0) 编辑
摘要: 开始学习神经网络(Neural Network) 已有线性与逻辑回归,为什么需要用到NN 实际的应用中,需要根据很多特征进行训练分类器,当今有两个特征下,可以通过下图表述: 然而还有太多的特征需要考虑,假设这里有100个特征,包含他们所有的相关项后可能会有5000个,这种计算量很显然是非常大的,当然阅读全文
posted @ 2017-06-10 12:29 SrtFrmGNU 阅读(9) 评论(0) 编辑
摘要: EX2 逻辑回归练习 ​ 假设你是一个大学某系的管理员,你想根据两项考试结果来确定每个申请人的录取机会。你有以前申请人的历史资料以作为逻辑回归的训练集。对于每一个训练集,你拥有每个申请人的两项考试的分数与最终录取与否的信息。 绘出数据散点图 ~~~matlab figure; hold on; %F阅读全文
posted @ 2017-06-09 19:35 SrtFrmGNU 阅读(5) 评论(0) 编辑
摘要: 这次根据结合Google的翻译果然速度快上许多,暂时休息,晚上在传一个exm2的随笔。 关于过度拟合下的问题 考虑从x∈R预测y的问题,下面的最左边的图显示了将$y=\theta_0+\theta_1x$拟合到数集的结果,我们看到数据不是真的在直线上,所以适合度不是很好。 相反,如果我们添加了一个额阅读全文
posted @ 2017-06-09 15:58 SrtFrmGNU 阅读(4) 评论(0) 编辑
摘要: 自己翻译了一些,对照了下google的翻译结果,发现有好多还不如机器翻译的...果然AI大法好 :) 开始新的章节 分类 为了尝试分类,直觉想到了使用线性回归,即将大于0.5的所有预测映射为1,全部小于0.5的映射为0.然而由于分类问题并不是简单的线性函数,因此该分类实际上并不能很好进行。其实分类问阅读全文
posted @ 2017-06-09 11:58 SrtFrmGNU 阅读(5) 评论(0) 编辑
摘要: 正则方程(Normal Equation) 梯度下降是最小化代价函数$J(\theta)$的一种方式,这里提出了另一种方式即正则方式不使用迭代方式:$\theta = (X^TX)^{ 1}X^Ty$。举例如下(m=4) 在正则方式中不需要对正则方程做尺度缩放。 下表给出了对于正则方程与梯度下降方法阅读全文
posted @ 2017-06-08 18:10 SrtFrmGNU 阅读(9) 评论(0) 编辑
摘要: 上一个随笔中有两处公式没有打印出来,补上: 多重特征 多个特征下的线性回归问题又称为:多元线性回归。这里有几个专用名词需要解释一下: $x_{j}^{i}$表示第i个训练样本中的第j歌特征值 $x^i$表示第i个训练样本的所有特征,一般是以列向量来表示。 m表示的是训练集的个数 多元形式下的假设函数阅读全文
posted @ 2017-06-07 18:44 SrtFrmGNU 阅读(10) 评论(0) 编辑