随笔分类 - Machine Learning
摘要：核心代码： # from sklearn.linear_model import LogisticRegression from sklearn.multioutput import MultiOutputClassifier from sklearn.naive_bayes import Mult
阅读全文
摘要：熵给定一个离散变量，我们观察它的每一个取值所包含的信息量的大小，因此，我们用来表示信息量的大小，概率分布为。当p(x)=1时，说明这个事件一定会发生，因此，它带给我的信息为0.（因为一定会发生，毫无悬念）如果x和y独立无关，那么：他们之间的关系为：（p(x)=1时，h(x)=0，负号为了确保h(x)...
阅读全文
摘要：初体验：概率论为我们提供了一个衡量和控制不确定性的统一的框架，也就是说计算出了一大堆的概率。那么，如何根据这些计算出的概率得到较好的结果，就是决策论要做的事情。一个例子：文中举了一个例子：给定一个X射线图x，目标是如何判断这个病人是否得癌症(C1或C2).我们把它看作是一个二分类问题,根据bayes的概率理论模型，我们可以得到：因此，就是的先验概率；（假设Ck表示患病，那么就表示普通人患病的概率）...
阅读全文
摘要：维数灾难给定如下分类问题：其中x6和x7表示横轴和竖轴（即两个measurements），怎么分？方法一（simple）：把整个图分成；16个格，当给定一个新的点的时候，就数他所在的格子中，哪种颜色的点最多，最多的点就是最有可能的。如图：显然，这种方法是有缺陷的：例子给出的是2维的，那么3维的话，就...
阅读全文
摘要：看过这篇博客的都应该明白，特征选择代码实现应该包括3个部分： 因此，代码的一般形式为： AttributeSelection attsel = new AttributeSelection(); // create and initiate a new AttributeSelection inst
阅读全文
摘要：资源:http://www.cse.ust.hk/TL/简介:一个例子: 关于照片的情感分析. 源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物力,构建了源情感分类器(即输入一张照片,可以分析出照片的情感).注:这里的情感不是指人物的情感,而是指照...
阅读全文
摘要：绘制了一张导图,有不对的地方欢迎指正: 下载地址 机器学习中,特征是很关键的.其中包括,特征的提取和特征的选择.他们是降维的两种方法,但又有所不同: 特征抽取（Feature Extraction）:Creatting a subset of new features by combinations
阅读全文
摘要：一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉.重复多次. 假设我们40%的概率选到红盒子,60%的概率选到蓝盒子.并且当我们把取出的水果拿掉时,选择盒子中任何一个水果还是等可能的. 问题: 1.整个过程中,取得苹果的概率有多大? 2.假设已经...
阅读全文
摘要：书中给出了一个典型的曲线拟合的例子,给定一定量的x以及对应的t值,要你判断新的x对应的t值多少.任务就是要我们去发现潜在的曲线方程:sin(2πx)这时就需要概率论的帮忙,对于这种不确定给t赋何值的情况,它可以通过一种精确和量化的方式来提供一种框架,而对于决策理论,为了根据适当的度量方式来获取最优的...
阅读全文
摘要：模式识别领域主要关注的就是如何通过算法让计算机自动去发现数据中的规则,并利用这些规则来做一些有意义的事情,比如说,分类.以数字识别为例,我们可以根据笔画规则启发式教学去解决,但这样效果并不理想.我们一般的做法是: 1,统一尺寸; 2,简化色彩; 3,计算灰度平均值; 4,计算哈希值(生成指纹);当有...
阅读全文
摘要：weka中的过滤器主要用于数据预处理阶段对数据集的各种操作。今天简单地使用一下过滤器：首先打开一个自带数据集weather.numeric.arff，这是一个关于通过天气条件，气温以及风力等因素来判断是否要play。可以看到：看一下数据的大致情况：红色代表no，蓝色代表yes。问题一：假设我现在要添...
阅读全文
摘要：本节内容： 1、POMDP； 2、Policy search算法：reinforced和Pegasus； 马尔科夫决策过程(Partially Observable Markov Decision Process,缩写:POMDP) 简介： 马尔科夫过程的预测： 以下转自：http://www.cnblogs.com/jinxulin/p/3517377.htm...
阅读全文
摘要：本节内容：控制MDP的算法：状态行动奖励；非线性动力学系统；模型；LQR：线性二次型调节控制；（Riccati方程）
阅读全文
摘要：主要内容：解决MDP问题的算法：离散化；模型MDP的同化型； (model/similator)拟合值迭代算法；Q函数；近似政策迭代；笔记转自：http://blog.csdn.net/dark_scope/article/details/8252969连续状态的MDP之前我们的状态都是离散的，如果...
阅读全文
摘要：之前讲了监督学习和无监督学习，今天主要讲“强化学习”。马尔科夫决策过程；Markov Decision Process（MDP）价值函数；value function值迭代；value iteration(算法，解决MDP)政策迭代；policy iteration(算法，解决MDP)什么是强化学习...
阅读全文
摘要：PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。内容：PCA （主成份分析）是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果；PCA 的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)...
阅读全文
摘要：本节课内容： 因子分析 ---因子分析中的EM步骤的推导过程 主成份分析：有效地降低维度的方法 因子分析 混合高斯模型的问题 接下来讨论因子分析模型，在介绍因子分析模型之前，先看高斯分布的另一种写法，该写法是推导因子分析模型的基础。 高斯分布的矩阵写法 因子分析模型 因子分析模型的推导 EM 求解参数 PCA(Prin...
阅读全文
摘要：本节内容： 1、混合高斯模型； 2、将混合高斯模型应用到混合贝叶斯模型；（应用：文本聚类） 3、结合EM算法，讨论因子分析算法； 4、高斯分布的有用性质。混合高斯模型将一般化的EM算法流程（下载笔记）应用到混合高斯模型因子分析模型因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即...
阅读全文
摘要：上课内容： 无监督学习： K-means聚类算法 混合高斯模型 jensen不等式（用于推导出EM算法的一般形式） EM（Expectation Maximization）算法（最大期望算法） K-means算法 总的来说，K-means比较容易理解，参考：http://www.cnblogs.com/XBWer...
阅读全文
摘要：本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶斯是联合概率的最大似然估计，SVM 是二次规划。 一下转自：http://52o...
阅读全文
