摘要：决策树学习的目的是为了产生一颗泛化能力强，处理未见示例的决策树，基本流程简单直接，“分而治之”的策略。 1.对于决策树算法描述： 下面简单的描述一下决策树算法的伪代码： 输入：训练集：D={（xi,yi）}，属性集A={ai} 过程：Tree（D,A） if D中的所有样本都属于同一类C then 阅读全文

摘要：使用线性模型进行回归学习，但若要做分类任务该怎么办呢？答案蕴含在广义线性模型中：只需要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 对数几率函数是一个常用的替代函数： 该函数的图像如下图（来源：维基百科）： 对数几率函数又称作“sigmoid函数”，将z值转化为一个接近 阅读全文

摘要：线性回归模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 线性回归形式简单，易于建模。许多更为强大的非线性模型可以在该模型基础上引入层级结构或高维映射而得。 线性回归模型基本形式 给定由d个属性表述的示例x=（X1,X2,X3...），期中 阅读全文

摘要：机器学习 机器学习研究的主要内容：使计算机从数据中产生“模型”的算法。 机器学习的基本术语 我们认为将一组数据可以抽象画表示为一个向量Xi，D={X1,X2,X3..Xm}表示包含m个示例的数据集，每一个Xi是由一系列属性描述所构成的，Xij则表示第i个示例的第j个特征或属性。 所有记录的集合为：数 阅读全文