随笔分类 -  机器学习

摘要：1. 基本方法设$X, Y$分别是定义在输入空间和输出空间上的随机变量。$P(X,Y)$是$X$和$Y$的联合概率分布。训练数据集\begin{equation}T = \{(x_1, y_1), (x_2, y_2),...,(x_n, y_n) \}\end{equation}由$P(X,Y)$... 阅读全文

摘要：1. 两类Logistic回归Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。不妨设有$n$个训练样本$\{x_1, ..., x_n\}$，$x_i$是$d$维向量，其类别标签是$\{y_1, ..., y_n\}$。对于一个$c$类问题，$y_i... 阅读全文

摘要：高斯场与调和函数是一种半监督的学习方法，也是一种直推式学习（transductive learning）方法。即测试样本是已知的，所以在学习的过程中，可以充分利用测试样本，以使学习出来的模型能更好的预测测试样本。 ## 1. 高斯随机场 (Gaussian Random Fields)有$ l ... 阅读全文

摘要：matlab:initPmtk3: https://code.google.com/p/pmtk3/ 非常强大的一个工具包，几乎包含了机器学习所有常用算法。 dimension reduction: http://www.cad.zju.edu.cn/home/dengcai/Data/data.html 蔡登的论文代码，主要是降维的如PCA,LDA等，还有谱回归、特征选择、矩阵分解、聚类等。 feature extraction: LBP feature:http://www.cse.oulu.fi/CMV/Downl... 阅读全文

摘要：目前了解到的MATLAB中分类器有：K近邻分类器，随机森林分类器，朴素贝叶斯，集成学习方法，鉴别分析分类器，支持向量机。现将其主要函数使用方法总结如下，更多细节需参考MATLAB帮助文件。设 训练样本：train_data %矩阵，每行一个样本，每列一个特征 训练样本标签：train_label %列向量 测试样本：test_data 测试样本标签：test_labelK近邻分类器（KNN）mdl = ClassificationKNN.fit(train_data,train_label,'NumNeighbors',1);predict_label = predict(md 阅读全文