jackley - 博客园

《统计学习方法》笔记（5）：决策树

摘要：决策树的主要算法在20世纪80年代就已提出，有完整的理论体系。本文依然从基本原理、应用场景、优点和缺点等四个方面对该算法进行分析。 1、基本原理决策树是一种基本的分类与回归方法，可以将其理解为一连串的if-then规则集合。构建一棵决策树一般要经过三个步骤：特征参量的... 阅读全文

posted @ 2016-04-04 16:21 jackley 阅读(139) 评论(0) 推荐(0)

摘要：慢慢发现，《统计学习方法》蛮适合有一定基础的人。这是一本重理论、轻应用的书，许多理论性的问题，在书中都可以找到答案；然而，由于缺少对应用场景的描述，并不利于初学者的快速理解。本文结合我自己的理解，从基本原理、应用场景、优点和缺点等四个方面对朴素贝叶斯算法进行分析，也... 阅读全文

posted @ 2016-04-04 16:19 jackley 阅读(97) 评论(0) 推荐(0)

摘要：本案例需要完成的任务定义如下：实现快速排序算法。快速排序的算法如下：1）选定一个值作为“枢轴”，一般选择第一个元素（理想情况下应选择中位值）；2）基于枢轴进行排序，将小于枢轴的数据排在左边，大于枢轴的数据排在右边；3）一轮排序之后，枢轴即在最终的位置；4）采用递归，... 阅读全文

posted @ 2016-04-01 23:50 jackley 阅读(120) 评论(0) 推荐(0)

摘要：本案例需要完成的任务定义如下：实现一个二叉树，实现增加节点和树的遍历等功能。定义“二叉树”节点：对于树节点，关键要素是节点自身数值data、左子节点left和右子节点right。public class TNode { //元素类型为int的节点 private i... 阅读全文

posted @ 2016-03-31 23:46 jackley 阅读(85) 评论(0) 推荐(0)

摘要： k近邻（KNN）是相对基本的机器学习方法，特点是不需要建立模型，而是直接根据训练样本的数据对测试样本进行分类。 1、k近邻的算法？算法对测试样本进行分类的一般过程如下：1）根据给定的k值，搜索与测试样本距离最近的k个训练样本；2）统计k个样本对应的每种分类数量；3）根... 阅读全文

posted @ 2016-03-31 13:14 jackley 阅读(106) 评论(0) 推荐(0)

摘要：本案例需要完成的任务定义如下：实现一个循环链表（单链表），具备增加元素、删除元素、打印循环链表等功能。网上许多同类问题的实现方式过于复杂、难懂，本文旨在提出一种实现循环链表的简单、易懂的方法。定义链表节点：对于每一个链表节点，关键要素是节点自身数值data以及所指向... 阅读全文

posted @ 2016-03-30 22:03 jackley 阅读(169) 评论(0) 推荐(0)

摘要：学习的过程，事实上是对新概念和新方法的理解过程。因此，本文关注点仍在于对感知机的重要概念和方法的解释。 1、什么是感知机？感知机是用于二分类的线性判别模型。拆解下来，感知机是用于二分类的、线性的、判别模型（即直接学习目标函数y=f(x)）。感知机的一般形式如下式，其中... 阅读全文

posted @ 2016-03-30 17:22 jackley 阅读(187) 评论(0) 推荐(0)

摘要：最近读李航博士的《统计学习方法》，获益良多。开篇李博士着重于基本概念和整体体系的介绍，本文仅就我自己的理解将个人认为重要的内容记述如下。 1、什么是监督学习和非监督学习？就感性认知而言，分类、回归都是监督学习，聚类是非监督学习。借用知乎上@王丰的回答，是否有监督（... 阅读全文

posted @ 2016-03-29 17:28 jackley 阅读(127) 评论(0) 推荐(0)

摘要：本案例需要完成的任务定义如下：定义和实现一个接口，并使用其完成字符串的反转。定义接口：public interface InterReverse{ public String ireverse(String str);} 实现接口：基本思想是用ch... 阅读全文

posted @ 2016-03-29 15:06 jackley 阅读(132) 评论(0) 推荐(0)

摘要：本文介绍的select高级应用主要包括：联合查询、分组查询、嵌套查询和限定查询数目等，与实例对照演示，所使用数据库为sqlite3。部门表（dept）CREATE TABLE dept(id INT PRIMARY KEY NOT NULL,name TEXT NO... 阅读全文

posted @ 2016-03-27 23:04 jackley 阅读(303) 评论(0) 推荐(0)