摘要：决策树算法 决策树算法主要有ID3, C4.5, CART这三种。 ID3算法从树的根节点开始，总是选择信息增益最大的特征，对此特征施加判断条件建立子节点，递归进行，直到信息增益很小或者没有特征时结束。 信息增益：特征 A 对于某一训练集 D 的信息增益 $g(D, A)$ 定义为集合 D 的熵 $ 阅读全文

摘要：半监督学习 在监督学习中，通常训练数据有input $x^r$, 也有output $\hat{y}^r$。 但是在实际情况下，数据不难收集，但做数据的标记需要花费很大的功夫。 所以半监督学习，就是利用了很多没有标记的数据$x^u$，通常U R。 transductive learning: unl 阅读全文

摘要：当参数一样多的时候，神经网络变得更高比变宽更有效果。为什么会这样呢？ 其实和软件行业的 模块化思想 是一致的。 比如，如果直接对这四种分类进行训练，长发的男孩数据较少，那么这一类训练得到的classifier不是很好。 但如果分成长发or短发，男孩or女孩，这两种基分类器，那么数据就是足够的，可以得 阅读全文