摘要：一些信息熵的含义(1) 信息熵的定义：假设X是一个离散随即变量，即它的取值范围R={x1，x2...}是有限可数的。设pi=P{X=xi}，X的熵定义为： (a)若(a)式中，对数的底为2，则熵表示为H2(x)，此时以2为基底的熵单位是bits，即位。若某一项pi=0，则定义该项的pilogpi-1为0。(2) 设R={0,1}，并定义P{X=0}=p，P{X=1}=1-p。则此时的H(X)=-plogp-(1-p)log(1-p)。该H(x)非常重要，称为熵函数。熵函数的的曲线如下图表示：再者，定义对于任意的x∈R，I(x)=-logP{X =x}。则H(X)就是I(x)的平均值。此时的I( 阅读全文

摘要：（1）以下matlab代码实现了高斯混合模型：function [Alpha, Mu, Sigma] = GMM_EM(Data, Alpha0, Mu0, Sigma0)%% EM 迭代停止条件loglik_threshold = 1e-10;%% 初始化参数[dim, N] = size(Data);M = size(Mu0,2);loglik_old = -realmax;nbStep = 0;Mu = Mu0;Sigma = Sigma0;Alpha = Alpha0;Epsilon = 0.0001; while (nbStep < 1200) nbStep = nbStep+ 阅读全文

摘要：参考文章http://apps.hi.baidu.com/share/detail/17988390，matlab中如何添加svm工具包，搭建了环境 阅读全文

摘要：function target=KNN(in,out,test,k)% in: training samples data,n*d matrix% out: training samples' class label,n*1% test: testing data% target: class label given by knn% k: the number of neighborsClassLabel=unique(out);c=length(ClassLabel);n=size(in,1);% target=zeros(size(test,1),1);dist=zeros(siz 阅读全文

摘要：PCA把多维数据降维，并使各维之间的相关性为零，从而最小化重构数据与原数据的方差。PCA可以用于人脸识别，即特征脸方法。PCA用于人脸识别的大体思路如下所述。 假设图片库中图片数为n,图片数据量为d=M*N 训练流程： 1,把图片库中的所有图片转化为灰度图片，然后形成n*d大小的矩阵X; 2,计算d维均值m,计算X中每个样本减去均值后的矩阵Y(n*d大小); 3,使用PCA生成维数为n*k维的方阵A(k<=n-1),k的值可以根据需要选择。其中A的各列为矩阵Y*Y'的最大的k个特征向量所构成。可以注意到Y*Y'即为协方差矩阵; 4,使用Y'*A生成d*k的特征脸E 阅读全文

摘要：本文使用LDA作为分类器在matlab下做实验。 其中投影转换矩阵W按照LDA的经典理论生成，如下的LDA函数，并返回各个类的投影后的（ｋ－１）维的类均值。LDA.m代码如下：View Code function [W,centers]=LDA(Input,Target)% Ipuut: n*d matrix,each row is a sample;% Target: n*1 matrix,each is the class label % W: d*(k-1) matrix,to project samples to (k-1) dimention% cneters: k*(k-1) m. 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要：关于进行多类分类的问题：一种方法是“one against the rest “方法构造C个分类器（每个分类器的作用都是二分的），然后把这些结果综合起来；另一种方法是成对分类，每一个分类器把两个类别进行分开（产生（C(C-1)/2）个类.... （参考维基百科） 构造变换矩阵时为避免出现SW为奇异矩阵，样本数量要大于样本的维数。 阅读全文

摘要： 阅读全文