随笔分类 -  机器学习

[读]统计学习方法
摘要：这两天看《统计学习方法》，记录了一些知识点。1.统计学习的方法 从给定的、有限的、用于学习的训练数据集合出发，假设数据时独立同分布产生；并且假设要学习的模型术语某个函数的集合，称为假设空间；应用某个评价准则，从假设空间中选取一个最优的模型，使他对已知训练数据及未知测试数据在给定的评价准则下有最优的... 阅读全文
posted @ 2014-08-30 17:00 七年之后 阅读(1053) 评论(0) 推荐(1)
Softmax回归
摘要：1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展（logistic回归解决的是二分类问题）。 对于训练集，有。 对于给定的测试输入，我们相拥假设函数针对每一个类别j估算出概率值。也就是说，我们估计得每一种分类结果出现的概率。因此我们的假设函数将... 阅读全文
posted @ 2014-07-24 11:41 七年之后 阅读(3213) 评论(0) 推荐(0)
机器学习中的一些概念
摘要：1.交叉验证将全部训练集S分成k个不相交的子集，{S1，S2，...，Sk}，假设训练样本有m个，那么每个子集有m/k个训练样例对于模型集合M中的一个Mi，每次挑选k-1个子集{S1，S2，...，Sj-1，Sj+1，...，Sk}做训练，得到假设函数hij，用剩下一个子集Sj做训练，得到经验误差ε... 阅读全文
posted @ 2014-04-20 22:25 七年之后 阅读(376) 评论(0) 推荐(0)
多视角学习-协同训练
摘要：一．半监督学习 在传统的有监督学习中，我们通过训练大量有标记数据得到一个强学习器，然后预测一个未知样例。而现实生活中，通常数据集中大量数据是无标记的，只有很少一部分是有标记的。比如在电子商务系统中，我们需要推荐用户感兴趣的商品，然而只有很少的用户会主动标记他们感兴趣的商品，系统中还存在着大量其他的商品，它们都可作为未标记示例来使用。我们的目标就是利用这些大量的、廉价的无标记数据帮助我们得到更好的训练模型。 贝叶斯公式P(Ci|x)=ΣP(x|Ci)P(Ci)/P(x)，表明我们可以将先验概率P(Ci)转换为后验概率P(Ci|x)。P(Ci|x)代表在输入示例的特征向量x的条件下该示例类... 阅读全文
posted @ 2014-04-01 13:05 七年之后 阅读(3376) 评论(0) 推荐(0)
线性回归与逻辑回归
摘要：关于线性回归，推荐几篇博文，讲得很好：JerryLead的对线性回归，logistic回归和一般回归的认识leftnoteasy的机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)苏冉旭的博客的Logistic regression （逻辑回归） 概述本文主要是我对线性回归的一些理解。一.线性回归 线性回归假设特征x和结果y满足线性关系。线性回归的目标函数为： 线性回归的损失函数为： 可以用梯度下降法或者最小二乘法调整θ来最小化这个J(θ)。 梯度下降法：J(θ)对θ求导得到： 那么θ的更新可以表示为： 最小二乘法：用no... 阅读全文
posted @ 2014-03-25 16:29 七年之后 阅读(834) 评论(0) 推荐(0)
K-近邻算法
摘要：K-近邻和最近邻（K=1）是模式识别中常用的分类方法，K-近邻算法思想是找到与当前样本相邻的K个有标签样本，然后通过投票决定此样本的类别。例如下图中如何分类未知的绿色圆圈呢？ 例如我们可以取K=3个临近的样本时，通过投票（红色两个大于蓝色一个），从而将绿色圆圈归于红色三角一类。一.基于实例的学习 K-近邻和局部加权回归就是基于实例的学习。基于实例的学习过程只是简单的存储已知的训练数据，当遇到新的待分类样本时，将从训练数据中挑选出一系列相似的样本，并用来分类新的样本。 与常见的分类算法（如神经网络）不同的是，基于实例的方法可以为不同的待分类样本建立不同的函数逼近。只建立目标函数... 阅读全文
posted @ 2014-03-21 11:41 七年之后 阅读(1817) 评论(0) 推荐(0)
遗传算法
摘要：前言： 放假前偷偷跑到杭州玩了几天，虽然没有预料中那么美丽，不过还是很开心，感谢老严的热情款待。回到南京后，距离完成任务就剩3天时间，而且师兄逼的很紧，于是夜以继日，实现了对比算法《Multimodal Sparse Representation-Based Classification for Lung Needle Biopsy Images》（Google学术搜索）。 遗传算法虽然如雷贯耳，但是一直未有接触，此次从零开始，看算法、看论文，对了，还要招待从云南回来的基友。时间虽然很紧，但是最后还是圆满完成任务，得以回家过年，感觉很充实。 网上有很多GA的参考文章，我就不画蛇添足了，但大多数 阅读全文
posted @ 2014-01-28 02:23 七年之后 阅读(421) 评论(0) 推荐(0)
Adaboost算法
摘要：一．Boosting和Bagging 首先，Boosting和Bagging两种算法都是通过构造一系列的预测函数，然后以某种方式将他们组合成最终的预测模型，以此来提高学习算法的准确度。 Bagging的主要思想是给定一个弱学习算法和一组训练集（x1，y1），…，（xn，yn）。让该学习算法训练多... 阅读全文
posted @ 2014-01-13 13:42 七年之后 阅读(2596) 评论(0) 推荐(0)
软件缺陷预测
该文被密码保护。
posted @ 2013-12-13 18:43 七年之后 阅读(9) 评论(0) 推荐(0)
核稀疏表示分类（KSRC）
摘要：参考：《Kernel SparseRepresention-Based Classifier》原文地址：http://www.cnblogs.com/Rosanna/p/3372153.html转载请注明出处，谢谢！ 阅读全文
posted @ 2013-10-16 20:32 七年之后 阅读(2227) 评论(0) 推荐(0)
BP神经网络
摘要：由于课题需要学习神经网络也有一段时间了，每次只是调用一下matlab的newff函数设置几个参数，就自以为掌握了。真是可笑，会了其实只是会使用，一知半解而已。 本来想写人工神经网络，但是范围太广，无法驾驭，姑且就先写BP吧，因为BP是目前应用最广泛的神经网络模型之一。一.人工神经网络 人工神经网络（ANN）的研究在一定程度上收到了生物学的启发，因为生物的学习系统是有相互连接的神经元（neuron）组成的异常复杂的网络。而人工神经网络与此大体相似，它是由一系列简单神经元相互密集连接构成，其中每一个神经元有一定数量的实值输入（也可以是其他神经元的输出），并产生单一的实数输出（可能成为其他... 阅读全文
posted @ 2013-09-22 23:58 七年之后 阅读(6894) 评论(1) 推荐(3)
PCA和LDA
摘要：一.PCA 在讲PCA之前，首先有人要问了，为什么我们要使用PCA，PCA到底是干什么的？这里先做一个小小的解释，举个例子：在人脸识别工作中一张人脸图像是60*60=3600维，要处理这样的数据，计算量肯定很大，为了能降低后续计算的复杂度，节约时间，我们在处理高维数据的时候，在“预处理”阶段通常要先对原始数据进行降维，而PCA就是做的这个事。本质上讲，PCA就是讲高维的数据通过线性变换投影到低维空间上去，这个投影可不是随便投投，我们要找出最能代表原始数据的投影方法，亦即不失真，可以这么理解，被PCA降掉的那些维度只能是那些噪声或者是冗余数据。 下面就先讲一下PCA算法的主要过程： 主成分分析( 阅读全文
posted @ 2013-08-20 14:17 七年之后 阅读(1980) 评论(0) 推荐(0)