李燕

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  机器学习

上一页 1 2 3 4 下一页

评估预测函数(1)---算法不能达到我们的目的时，Deciding what to try next
摘要：在设计机器学习系统时，一些建议与指导，让我们能明白怎么选择一条最合适，最正确的道路。当我们要开发或者要改进一个机器学习系统时，我们应该接下来做些什么？try smaller sets of features--是为了防止overfitting.当你发现你的预测方法不能成功预测时，接下来你该尝试些什么... 阅读全文
posted @ 2015-12-14 16:42 李燕 阅读(230) 评论(0) 推荐(0)

神经网络(14)--具体实现:put it together
摘要：如何选择神经网络的architectureinput units和output units都很好决定，关于hidden layer的层数，则一般来说是选择一个hidden layer, 或者>1的hidden layer,但是每个hidden layer都有相同的units.通常来说hidden l... 阅读全文
posted @ 2015-12-07 20:20 李燕 阅读(341) 评论(0) 推荐(0)

神经网络(13)--具体实现:random initialization
摘要：Θ应初始化为什么值当我们是用logistic regression算法时，将θ初始化为0是可以的；但是如果在神经网络里面，将θ初始化为0是不可行的若将Θ初始化为0的后果-the problem ofsymmetry ways当Θ初始化为0后,蓝色线上的两个weights是相等的，红色线上的两个wei... 阅读全文
posted @ 2015-12-07 16:01 李燕 阅读(812) 评论(0) 推荐(0)

神经网络(12)--具体实现:如何对back propagation的正确性进行验证
摘要：我们在进行back propagation时难免会出现各种各样的问题，当出现问题的时候，我们的cost function仍然是随着迭代的次数下降的，但是这中间会有一些问题存在，那么我们如何来检查我们的算法是否会出现这些不易被发现的问题呢？gradients的近似表达上面是导数的近似表达式，取左边的双... 阅读全文
posted @ 2015-12-06 19:40 李燕 阅读(289) 评论(0) 推荐(0)

神经网络(11)--具体实现:unrolling parameters
摘要：我们需要将parameters从矩阵unrolling到向量，这样我们就可以使用adanced optimization routines.unroll into vectorscostFunction与fminunc里面的theta都是n+1维的向量，costFunction的返回值gradien... 阅读全文
posted @ 2015-12-06 16:44 李燕 阅读(739) 评论(0) 推荐(0)

神经网络(10)--有助于对神经网络Backpropagation算法的理解
摘要：为了更好的理解backpropagation，先来了解一下forward propagation的内部我们在forward propagation中计算Z1(3)的方法与在back propagation的方法类似，不同的是，forward是从左算到右，back是从右计算到左。Back propag... 阅读全文
posted @ 2015-12-02 16:01 李燕 阅读(316) 评论(0) 推荐(0)

神经网络(9)--如何求参数: backpropagation algorithm(反向传播算法)
摘要：Backpropagation algorithm(反向传播算法)Θij(l) is a real number.Forward propagation上图是给出一个training example(x,y),是怎么进行forward propagation的.Backpropagation alg... 阅读全文
posted @ 2015-11-30 22:00 李燕 阅读(559) 评论(0) 推荐(0)

神经网络(8)---如何求神经网络的参数：cost function的表达
摘要：两种分类问题: binary & multi-class下面的是两种类型的分类问题(一种是binary classification,一种是multi-class classification)如果是binary classification的分类问题，则output layer只有一个结点（1 o... 阅读全文
posted @ 2015-11-30 20:40 李燕 阅读(687) 评论(0) 推荐(0)

神经网络(7)---多分类问题
摘要：上次提到的手写数字的识别就是一个多分类的问题，有10种不同的分类(0-9)。在神经网络中我们所做的多分类问题是the one VS all方法的延伸，让我们看一个computer vision的例子，在这个例子中，我们要对图片进行4个分类:步行，car,摩托车，火车。我们建立的这个神经系统，它有4个... 阅读全文
posted @ 2015-11-25 23:59 李燕 阅读(1386) 评论(0) 推荐(0)

神经网络(6)---一些神经网络学习复杂非线性问题的例子(2)
摘要：如何实现逻辑非(negation)上次我们实现了逻辑与与逻辑或运算，现在来看看逻辑非运算的实现如左上图所示，我们只有一个x1输入，还有一个bias unit(+1),如果我们将weights设为10,-20的话，则我们的hΘ(x)=g(10-20x1)。计算右上角的表格可以得出函数的值与逻辑非函数的... 阅读全文
posted @ 2015-11-25 21:17 李燕 阅读(869) 评论(0) 推荐(0)

神经网络(5)---一些神经网络学习复杂非线性问题的例子(1)
摘要：异或运算与同或运算X1,X2取0或者1,左边图中只有两个positive examples和两个negative examples,是右边复杂图的简化，对于右边这张图，我们想做的是learn a nonlinear division of bondary(能够将positive和negative分开... 阅读全文
posted @ 2015-11-25 20:02 李燕 阅读(1107) 评论(0) 推荐(0)

神经网络(4)---神经网络是如何帮助我们学习复杂的nonlinear hypotheses
摘要：神经网络是如何一步步进行计算的，以及对计算过程的向量化Z1(2),Z2(2),Z3(2) are just weighted linear combination of input value x1,x2,x3.上图右边灰色框里面的为Z(2)，为3*1矩阵。a1(2)=g(Z1(2))......a... 阅读全文
posted @ 2015-11-25 17:14 李燕 阅读(472) 评论(0) 推荐(0)

神经网络(3)---如何表示hypothesis,如何表示我们的model
摘要：大脑中的神经元我们的大脑都充满了上图所示的神经元，神经元有一个细胞体(cell body)，还有一些input wires,专业词汇叫做树突(dendrite),它们从其它地方接收输入信息，神经元还有一个output wire,专业词汇叫做轴突(Axon),用来给其它的神经元发送信号。简单说来，神经... 阅读全文
posted @ 2015-11-25 12:14 李燕 阅读(893) 评论(0) 推荐(0)

神经网络(2)---neurons and the brain
摘要：神经网络是一个历史悠久的课题，当初提出是为了让机器能够模仿人的大脑一样工作。现在神经网络在处理很多机器学习的问题上发挥了很重要的作用。神经网络的背景(我们可以利用神经网络做些什么)大脑可以处理视觉，听觉，计算，触觉等等很多事情，这样看来似乎如果我们要模仿大脑的话，要写很多不同的程序来让机器模仿人脑能... 阅读全文
posted @ 2015-11-24 13:01 李燕 阅读(458) 评论(0) 推荐(0)

神经网络(1)--Non-linear hypotheses，为什么我们要学习神经网络这种算法来处理non-linear hypotheses
摘要：神经网络(1)--No-linear hypotheses为什么我们已经有了linear regression与logistic regression算法还要来学习神经网络这个另外的算法呢，让我们来看看几个复杂的no-linear hypotheses想要对上面图中的trainning data做l... 阅读全文
posted @ 2015-10-20 21:57 李燕 阅读(342) 评论(0) 推荐(0)

machine learning(15) --Regularization:Regularized logistic regression
摘要：Regularization:Regularized logistic regressionwithout regularization当features很多时会出现overfitting现象，图上的cost function是没有使用regularization时的costfunction的计算公... 阅读全文
posted @ 2015-09-30 16:08 李燕 阅读(327) 评论(0) 推荐(0)

machine learning(14) --Regularization:Regularized linear regression
摘要：machine learning(13) --Regularization:Regularized linear regressionGradient descentwithout regularization with regularization θ0与原来是的没有... 阅读全文
posted @ 2015-09-30 14:59 李燕 阅读(286) 评论(0) 推荐(0)

machine learning(13) -- solving the problem of overfitting:regularization
摘要：solving the problem of overfitting:regularization发生的在linear regression上面的overfitting问题发生在logistic regression上面的overfitting怎么解决overfittingregularizatio... 阅读全文
posted @ 2015-09-28 20:41 李燕 阅读(312) 评论(0) 推荐(0)

machine learning(12) -- classification: One-vs-all classfication
摘要：Multiclass classification例子：邮箱的邮件的分类： 工作邮件，私人邮件，朋友的邮件，兴趣爱好的邮件医学诊断： 没有生病，患有流感，患有普通感冒天气： 晴天，兩，多云等One-vs-all classfication = one-vs-rest : 每一次... 阅读全文
posted @ 2015-09-17 19:13 李燕 阅读(440) 评论(0) 推荐(0)

machine learning(11) -- classification: advanced optimization 去求cost function最小值的方法
摘要：其它的比gradient descent快， 在某些场合得到广泛应用的求cost function的最小值的方法when have a large machine learning problem，一般会使用这些advanced optimization algorithm而不是gradient d... 阅读全文
posted @ 2015-09-14 23:15 李燕 阅读(301) 评论(0) 推荐(0)

上一页 1 2 3 4 下一页