摘要：http://www.cnblogs.com/tornadomeet/p/3395593.html朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）；Logistic回归优点： 1、实现简单； 2、分类时计算量非常小，速度很快，存储资源低； 缺点： 1、容易欠拟合，一般准确度不太高 2、只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），... 阅读全文

摘要：纠错输出编码法（Error-CorrectingOutputCodes，ECOC）不仅能够将多类分类问题转化为多个两类问题，而且利用纠错输出码本身具有纠错能力的特性，可以提高监督学习算法的预测精度。将多类问题两类化的重要途径是对输出的类别进行编码，即每个类别对应一个长度为n的二进制位串（称为码字），共形成m个码字，这些码字的同一位描述了一个二值函数。学习结束后获得n个二分器，在分类阶段，每个二分器对输入样本产生的输出形成输出向量，然后由决策规则判定输入样本的类别。纠错输出编码法：将机器学习问题看做数据通信问题，并采用纠错输出码对各类别进行编码，因此在分类过程中能够纠正某些二分器的错误输出，从而 阅读全文

摘要：遗传算法（GeneticAlgorithms，GA）是一种全局优化方法，它借用了生物遗传学的观点，通过自然选择、遗传、变异等作用机制，实现种群中个体适应性的提高，体现了自然界中“物竞天择、适者生存”的进化过程。遗传算法是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法，它模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次迭代中都保留一组候选解，并按某种指标从解群中选取较优的个体，利用遗传算子（选择、交叉和变异）对这些个体进行组合，产生新一代的候选种群，并重复此过程，直到满足某种收敛指标为止。基本遗传算法（SimpleGeneticAlgorithms，简称SGA，又称简单遗 阅读全文

摘要：支持向量机（SupportVectorMachine，SVM），集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。核表示方式将数据映射到高位空间来增加线性学习器的计算能力。训练样本不会独立出现，而总是以成对样本的内积形式出现。通过选择恰当的核函数来代替内积，可以隐式地将训练数据非线性映射到高维空间，而不增加可调参数的个数，当然前提是核函数能够计算对应着两个输入特征向量的内积。需要学习的目标函数的复杂度取决于它的表示方式，学习任务的难度也会随之变化。在理想情况下，应该选择与特定的学习问题匹配的表示。将数据简单映射到另一个空间有时能够很好地简化任务。一般而言，描述数据的 阅读全文

摘要：神经网络基本模型：1.前向神经网络：无圈的有向图N=（V,E,W），其中，V为神经元集合，E为连结权值集合，W为每一连结赋予一实值的权重。神经元集V可以被分成无接受域的输入结点集V1，无投射域的输出结点集V0和既有接受域又有投射域的隐结点集VH。一般的前向神经网络包括一个输入层、一个输出层和若干隐单元。隐单元可分层也可以不分层。若分层，则成为多层前向神经网络。网络的输入、输出神经元的激励函数一般取线性函数，而隐单元则为非线性函数。前向神经网络的输入单元从外部环境中接受信号，经处理将输出信号加权后传给其投射域中的神经元，网络中的隐含单元或输出单元从其接受域中接受净输入，然后向它的投射域发送输出信 阅读全文

摘要：学习过程：发现新模式->应用、泛化->约束、修正->固定模式人工智能大师H.A.Simon的观点：“学习”就是系统在不断重复的工作中对本身能力的增强或改进，结果是系统在下一次执行同样任务或类似任务时，比现在做得更好或效率更高。简而言之，“学习”指系统改进其性能的任何过程。机器学习系统：给定某类任务T、与T相关的性能P和经验E，计算机程序从经验E中学习，用学习的结果改善性能P，从而实现自我完善，则称该程序具有学习能力。影响学习系统设计的最重要因素是环境向系统提供的信息，即学习模型中的E机器学习方法分类：1.监督学习：利用有类别标识的训练样本集合和选定的模型来确定分类器的过程。对 阅读全文