随笔分类 - 机器学习
start AI learning
摘要：一、神经网络基础 1. 神经元模型 神经网络中最基本的单元是神经元模型（neuron）。 细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平），后一部分先计算总输入值与该神经元阈值的差值，然后通过激活函数（activation function）的处理，产生输出从轴突传送给其
阅读全文
摘要：当看过一些简单的机器学习算法或者模型后，对于具体问题该如何评估不同模型对具体问题的效果选择最优模型呢。机器学习分类1. 经验误差、泛化误差假如m个样本中有a个样本分类错误错误率：E = a / m;精度： 1 - E训练误差： 又叫经验误差，是指算法/模型在训练样本上的误差泛化误差：算法/模型在新样本上的误差显然我们希望得到泛化误差小的机器学习算法。2.欠拟合、 过拟合欠拟合：欠拟合是指讯息能力...
阅读全文
摘要：无监督学习 和监督学习不同的是，在无监督学习中数据并没有标签（分类）。无监督学习需要通过算法找到这些数据内在的规律，将他们分类。（如下图中的数据，并没有标签，大概可以看出数据集可以分为三类，它就是一个无监督学习过程。） 无监督学习没有训练过程。 聚类算法 该算法将相似的对象轨道同一个簇中，有点像全自
阅读全文
摘要：介绍 决策树分为分类决策树和回归决策树： 上一篇介绍了分类决策树以及Python实现分类决策树： 监督学习——决策树理论与实践（上）：分类决策树 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象/分类，
阅读全文
摘要：基于数据的多重抽样的分类器 可以将不通的分类器组合起来，这种组合结果被称为集成方法（ensemble method）或者元算法（meta-algorithom） bagging : 基于数据随机抽样的分类器构建方法 自举汇聚法，也称bagging方法，从原始数据集通过随机抽样选择s次后得到s个新数据
阅读全文
摘要：线性回归及sgd/bgd的介绍： 监督学习——随机梯度下降算法（sgd）和批梯度下降算法（bgd） 训练数据形式： （第一列代表x1，第二列代表 x2，第三列代表 数据标签 用 0/1表示） 训练函数形式： y = sigmod（w0+w1*x1+w2*x2） 通过训练函数就能够得到参数列向量θ([
阅读全文
摘要：分析了贝叶斯的原理和利用贝叶斯进行文本分类的实际运用
阅读全文
摘要：K-近邻(k-Nearest Neighbor，KNN)是分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
阅读全文
摘要：1. 介绍 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象/分类，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值 通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点： 1...
阅读全文
摘要：线性回归 首先要明白什么是回归。回归的目的是通过几个已知数据来预测另一个数值型数据的目标值。 假设特征和结果满足线性关系，即满足一个计算公式h(x)，这个公式的自变量就是已知的数据x，函数值h(x)就是要预测的目标值。这一计算公式称为回归方程，得到这个方程的过程就称为回归。 假设房子的房屋面积和卧室
阅读全文