摘要： 二叉树 什么是二叉树？ 父节点至多只有两个子树的树形结构成为二叉树。如下图所示，图1不是二叉树，图2是一棵二叉树。 图1 普通的树 图2 二叉树 如果一棵树所有的非叶子节点都有两个子节点，则称该树为完全二叉树，图2就是一棵完全二叉树。 二叉查找树（ADT） 二叉树一个重要的应用是二差查找树，顾名思义 阅读全文

摘要： 概述： 阅读全文

摘要： 希尔排序可以说是插入排序的加强版，通过对原始数据进行分组再排序，更高效地完成对数据的排序工作。1.从插入排序到希尔排序回顾插入排序的基本知识，插入排序通过不断将无序的元素插入到已排序的序列中，直到所有的元素都已经插入位置。插入排序一个很明显的缺点是插入元素时需要与已经排序的元素进行对比，对比的次数可... 阅读全文

摘要： 归并排序是采用分治策略进行排序的一种算法，其基本原理是将未排序的数组划分为两个子数组，分别对两个子数组尽心排序，然后将有序的子数组合并。归并排序分为两个过程：一是数组划分为两个子数组并分别进行排序，二是将两个已排序的子数组进行合并。将数组划分为两个子数组并进行排序 将数组一分为二很简单，关... 阅读全文

摘要： 堆：大根堆与小根堆 堆排序是建立在堆基础上的排序方法，首先了解一下什么是堆。 常用的堆一般有两种，大根堆和小根堆。堆可以看做是一棵二叉树，其父节点的值总是大于（大根堆）或者小于（小根堆）子节点的值。举一个例子： 图1 不满足堆的条件 图2大根堆... 阅读全文

摘要： CART，又名分类回归树，是在ID3的基础上进行优化的决策树，学习CART记住以下几个关键点：（1）CART既能是分类树，又能是分类树；（2）当CART是分类树时，采用GINI值作为节点分裂的依据；当CART是回归树时，采用样本的最小方差作为节点分裂的依据；（3）CART是一棵二叉树。接下来将以一个... 阅读全文

摘要： 说到分类树，第一个想到的算法肯定是C4.5，作为数据挖掘的十大算法之一，C4.5在ID3的基础上，从分裂的依据、数据的处理以及剪枝三个方面进行了优化，实现更加精准的预测和分类，本文将主要从上述三个方面对C4.5进行阐述，并给出C4.5的源代码。 阅读全文

摘要： ID3是基本的决策树构建算法，虽然在对数据的处理、预测的精度上比不上C4.5和CART，但仍然是学习决策树的重要算法。本文将以实际的例子讲述ID3的构建过程，并在文末给出ID3的源代码。 阅读全文

摘要： 什么是剪枝？ 剪枝是指将一颗子树的子节点全部删掉，根节点作为叶子节点，以下图为例：为甚么要剪枝？ 决策树是充分考虑了所有的数据点而生成的复杂树，有可能出现过拟合的情况，决策树越复杂，过拟合的程度会越高。 考虑极端的情况，如果我们令所有的叶子节点都只含有一个数据点，那么我们能够保证所有的训... 阅读全文

摘要： 决策树是一种重要的分类和回归方法，具有可读性强、分类速度快等特点。决策树是一种树形结构，通过多个If-then规则实现分类或者回归的目的。本文将介绍决策树的基本原理，并以实际的例子详细讲解决策树基本的构建过程。 阅读全文