摘要：集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统。如下图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来，个体学习器通常由一个现有的学习算法从训练数据中产生，例如C4.5决策树算法，BP神经网络等。个体学习器可以是相同的类型的学习器也可以是不同类 阅读全文

摘要：假设有N种可能的类别标记，即$y=\{c_{1},c_{2}...c_{N}\}$，$\lambda_{ij}$是将一个真实标记为$c_{j}$的样本误分类为$c_{i}$所产生的损失，期望损失为： $R(c_{i}|x)=\sum_{j=1}^{N}\lambda_{ij}p(c_{j}|x)$ 阅读全文

摘要：原始问题： 假设$f(x),c_{i}(x),h_{j}(x)$是定义在$R^{n}$上的连续可微函数，考虑约束最优化问题： $\underset{x\in R^{n}}{min}f(x)$ $s.t. \ c_{i}(x)\leq 0,i=1,2,3...k$ $h_{j}(x)= 0,j=1,2 阅读全文

摘要：硬间隔： 超平面通过如下方程描述： $w^{T}x+b=0$ 则任意一点到超平面的距离： $r=\frac {|w^{T}x+b|} {||w||}$ 假设超平面(w,b)能将训练样本正确分类，即对于$(x_{i},y_{i})\subset D$，若$y_{i}=+1$，则有$w^{T}x_{i} 阅读全文

摘要：信息熵：离散型，对取值数目较多的属性有所偏好，因为一个有n个取值的属性都不相同则分成n个类别（节点），每一个节点的纯度都是1（信息熵为0）。 样本集合D中第k类样本所占的比例是$p_{k}(k=1,2,3....|y|)$，则D的信息熵且$End(D)$的值越小则D的纯度越高： $Ent(D)=-\ 阅读全文