摘要：
上一节从最小二乘函数损失函数优化求解线性回归模型参数，本节将通过概率统计的角度求解线性回归模型参数，为最小二乘算法给出其概率上解释。 首先假设输出变量与输入变量之间存在关系： (1)其中，ε（i) 模型的预测值与真实值之间的噪声，我们假设预测值的噪声是随机独立的，服从分布： (2)因此，我们可以得到： (3)对于N个样本我们得到它的似然函数： (4)最大化对数似然函数L(Θ): (5)该式等于最小化： (6)当前这个公式正是在 ”线性回归模型之一“一文中提到的最小二乘的损失函数。 阅读全文
随笔档案-2013年03月
耐得寂寞，拥得繁华
2013-03-28 14:59 by 夜与周公, 254 阅读, 收藏, 编辑
摘要：
耐得寂寞， 拥得繁华分享一篇博文，还在路上一起寻寻觅觅苦苦追寻的孩子，共勉之。单以这样的一句话作为开头，看高木直子的《一个人住第五年》的时候还在国内，那时觉得那样的生活根本不可能发生在我身上，连吃饭都要人陪着的我无法忍受一个人吃饭的感觉。所以后来，有很长的一段时间里我都没能适应一个人吃饭，一个人旅行，现在想想其实也没什么，这个世界运转速度那么快，没有人会在意你是不是一个人。以至于后来一个朋友问我是不是也得了社交恐惧症，我笑笑，其实不是，只是自己慢慢地变得懒了，懒得去经营一份感情，至于朋友，有那么几个就足够了，有些人天天在一起，也不见得是朋友。 好像这样久了，倒是会忘记开始遇到的困难，渐渐地.. 阅读全文
线性回归模型之一
2013-03-27 14:35 by 夜与周公, 536 阅读, 收藏, 编辑
摘要：
本节开始介绍第一个机器学习模型：线性回归模型（Linear Regression Model)。线性回归的目的是预测连续变量的值，比如股票走势，房屋的价格预测。从某种程度上说，线性回归模型，就是函数拟合。而线性回归，针对线性模型拟合，是回归模型当中最简单一种。形式化描述回归模型：对于给定的训练样本集包含N个训练样本{x(i)}相应的目标值{t(i)}}(i=1,2,....N)，我们的目的是给定一个新样本x 预测其值 t，注意与分类问题不同是{t(i)}属于连续变量。 最简单的线性回归模型： (1)其中，x={x1,x2,x3,...xD}，D个特征项，w={w1,w2,w3...... 阅读全文
机器学习之数据预处理
2013-03-24 21:15 by 夜与周公, 1132 阅读, 收藏, 编辑
摘要：
在使用机器学习与数据挖掘算法时，我们常常并不直接接触底层的算法模型，而是将数据处理成模型需要格式，送入到算法模型即可。 在做数据预处理的是，需要将数据归一化（Data Standardization)。由于一个样本的各个特征，并不一定具有相同的度量单位与粒度。比如统计鲸鱼的两个属性（年龄，重量）作为表述鲸鱼的特征。x(i)=(1,1000),x(j)=(3,2000)。在将样本送给算法模型时，由于重量的特征值数值上远远大于年龄特征值，模型学习到重要性更倾向于重量这个更特征，使用欧式距离计算两个样本的距离时： 在数据不是同一种力度夏，第一部分特征（年龄）起的作用就很小很小，几乎被忽略，因此... 阅读全文
机器学习的那些事
2013-03-22 22:00 by 夜与周公, 1634 阅读, 收藏, 编辑
摘要：
本系列是对机器学习常用的一些算法总结，本节主要概况后续的一些章节内容。 什么事机器学习？定义这个概念的自然是机器学习的大牛要做的事情。但机器学习的目的是，让我们的算法能够像人一样，通过学习以往的经验(数据)，得到某种问题的解决方法(模型)，并对新的问题(预测样本)做出自己的判断。对于某些问题来说，很难去编写一个算法完成任务。给出一些人脸图像，要求我们去编写一个程序，去识别这些人脸属于哪个人的。在计算机中，一幅人脸图像表示成一个矩阵，显然，很难通过传统的编程方法，去判断这幅图像到底是谁的人脸，机器学习在这个时候就发挥到她的作用了。 典型的机器学习任务可以几类呢？对于特定的任务，如何选择机... 阅读全文