liuwu265

摘要： 1、熵及信息增益本节介绍：熵，条件熵，信息增益，信息增益比的概念。1）熵：表示随机变量不确定性的程度。假设随机变量X的概率P(X=xi)=pi，（i=1,2,…,n），则该随机变量的熵为：若pi=0,则0log0=0。熵只依赖X的分布，而与X的取值无关。故而X的熵H(X)，写成H(p)更准确。熵越大... 阅读全文