仅显示标题浏览

Bati's eHome of Tech

  :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: :: 管理 ::
  174 随笔 :: 0 文章 :: 32 评论 :: 0 引用

公告

随笔分类 - Machine Learning

摘要: Xinwei: 写的通俗易懂,终于让我这个不搞CV、不搞图像的外行理解卷积和滤波了。 图像卷积与滤波的一些知识点 zouxy09@qq.com http://blog.csdn.net/zouxy09 之前在学习CNN的时候,有对卷积进行一些学习和整理,后来就烂尾了,现在稍微整理下,先放上来,以提醒阅读全文
posted @ 2016-03-02 10:13 Bati 阅读(4054) | 评论 (0) 编辑

摘要: 2013基于数据降维和压缩感知的图像哈希理论与方法唐振军广西师范大学 多元时间序列数据挖掘中的特征表示和相似性度量方法研究李海林华侨大学基于标签和多特征融合的图像语义空间学习技术研究管子玉西北大学非负矩阵分解中维数约减问题研究赵金熙南京大学58大数据环境下高维数据流挖掘算法及应用研究冯林大连理工大学面向高维信息的非线性维数约减问题研究高小方山西大学基于支持向量机的增量式强化学习技术及其应用研究伏玉琛苏州大学77面向复杂数据基于流形学习的非线性降维算法研究陈静广东工业大学高光谱图像分类的流形学习和非负矩阵分解特征降维研究温金环西北工业大学面向高维数据挖掘的非负矩阵分解关键问题研究景...阅读全文
posted @ 2014-02-08 19:12 Bati 阅读(6858) | 评论 (0) 编辑

摘要: 主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章,将近100篇论文,各位山头们的Presentation。全部都可以在google上找到。BTW:由于我对视觉尤其是检测识别比较感兴趣,所以关于DL的应用主要都是跟Vision相关的。在其他方面比如语音或者NLP,很少或者几乎没有。个人非常看好CNN和Sparse Autoencoder,这个list也反映了我的偏好,仅供参考。Review Book List:[2009 Thesis] Learning Deep Generative Models.pdf[2009] Learning Deep Architect阅读全文
posted @ 2014-02-08 19:07 Bati 阅读(7565) | 评论 (0) 编辑

摘要: Comments from Xinwei: 本文是从deeplearning网站上翻译的另一篇综述,主要简述了一些论文、算法已经工具箱。 深度学习是ML研究中的一个新的领域,它被引入到ML中使ML更接近于其原始的目标:AI。查看a brief introduction to Machine Learning for AI 和 an introduction to Deep Learning al...阅读全文
posted @ 2011-10-08 11:03 Bati 阅读(60481) | 评论 (1) 编辑

摘要: Comments from Xinwei: 最近的一个课题发展到与深度学习有联系,因此在高老师的建议下,我仔细看了下深度学习的基本概念,这篇综述翻译自http://deeplearning.net,与大家分享,有翻译不妥之处,烦请各位指正。 查看最新论文 Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Tre...阅读全文
posted @ 2011-10-08 10:43 Bati 阅读(66509) | 评论 (7) 编辑

摘要: Comment from Xinwei: 最近在帮高老师review一片PRL的论文,看到ROC曲线,查了一下Stentor的大作,觉得解释的很不错,特此转载!分类模型尝试将各个实例(instance)划归到某个特定的类,而分类模型的结果一般是实数值,如逻辑回归,其结果是从0到1的实数值。这里就涉及到如何确定阈值(threshold value),使得模型结果大于这个值,划为一类,小于这个值,划归...阅读全文
posted @ 2010-07-16 17:16 Bati 阅读(1015) | 评论 (0) 编辑

摘要: 今天接到高老师的email,投递到PAKDD2010的论文已经被作为Full Paper接收了,两年的努力,自我cong一下,感谢高老师不懈的耐心指导!阅读全文
posted @ 2010-02-03 11:00 Bati 阅读(641) | 评论 (1) 编辑

摘要: 据Cultofmac网站得到的消息,苹果平板电脑产品所使用的操作界面UI将具备快速学习功能,能够在短时间内自动“学习领会”用户惯用的操作模式,并根据用户的习惯来设置平板电脑的操作界面。 据该网站的一位读者透露:“我刚听说苹果平板电脑的UI界面具备一种特别的“快速学习”功能。我是从一位苹果员工那里得到这个消息的,他刚刚参加了一次苹果内部举办的介绍平板电脑新功能的会议。虽然他不愿意透露有关的产品细节,...阅读全文
posted @ 2010-01-07 19:23 Bati 阅读(144) | 评论 (0) 编辑

摘要: 没搜到出处,看起来应该是某本书上的,总结的还不错. 2.4.1 主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和Boosting等。 (1)决策树 决策树是用于分类和预测的主要技术之一,决策树学习是以实例为基础的归纳学习算法,它着眼...阅读全文
posted @ 2010-01-07 10:15 Bati 阅读(1775) | 评论 (0) 编辑

摘要: 看过《终结者》电影的朋友肯定对施瓦辛格州长饰演的机器人记忆犹新,但是现实生活中的机器人可没那么智能,不过也有好消息,最近法国科学家就设计出了具备儿童思维能力的机器人。 这个机器人的名字叫iCub,高1米,有一双大大的眼睛,身体各部分是由错综复杂的电子线路组成。科学家们希望它能够学会应变周围的环境,进而调整自己的行为。 目前的欧洲实验室里有六版不同类型的iCub机器人,科学家们也在努力的给它们的“大...阅读全文
posted @ 2009-09-09 09:05 Bati 阅读(228) | 评论 (0) 编辑

摘要: Simultaneous dimension reduction and regression or supervised dimension reduction (SDR) MethodsOutline:29 July 2009KAI MAO, QIANG WU,FENG LIANG,SAYAN MUKHERJEE. Two models for Bayesian supervised dime...阅读全文
posted @ 2009-07-27 18:17 Bati 阅读(355) | 评论 (0) 编辑

摘要: zz from http://news.mydrivers.com/1/138/138813.htm IBM近日发布一款开源智能编译器Milepost GCC(GNU Compiler Collection),并宣称这也是全球首款开源的智能编译器,它可以自动学习如何最优化嵌入式程序并大幅缩短软件开发时间,所有用户都可到Milepost官方网站下载Milepost GCC。 根据IBM的初步测试,I...阅读全文
posted @ 2009-07-07 09:20 Bati 阅读(235) | 评论 (0) 编辑

摘要: Define: MLE: Maximum likelihood estimation LSE: Least-squares estimation SSE: Sum of squares error _______________________________ 周一刘老师讲PRML ch1,提出了一个问题:MLE是否可以等同于最小SSE?很有趣的问题,查了一下资料。 wikipedia上说:The...阅读全文
posted @ 2009-05-20 11:33 Bati 阅读(594) | 评论 (0) 编辑

摘要: 最近Boss要求我们自己的试验平台要支持多个机器学习算法的方便的比较,于是决定仿照Weka的结构设计,这个任务就安排给咱了,没办法,看呗,上次看Weka还是一年前!Lesson 1zz from http://dreamhead.blogbus.com/logs/16813833.htmlWeka,是一个用Java编写的数据挖掘软件。数据挖掘,从字面上来看,它是一个从数据中找寻有用信息的过程,不过...阅读全文
posted @ 2009-05-16 17:37 Bati 阅读(4999) | 评论 (2) 编辑

摘要: 我经常在 TopLanguage 讨论组上推荐一些书籍,也经常问里面的牛人们搜罗一些有关的资料,人工智能、机器学习、自然语言处理、知识发现(特别地,数据挖掘)、信息检索 这些无疑是 CS 领域最好玩的分支了(也是互相紧密联系的),这里将最近有关机器学习和人工智能相关的一些学习资源归一个类: 首先是两个非常棒的 Wikipedia 条目,我也算是 wikipedia 的重度用户了,学习一门东西的时...阅读全文
posted @ 2008-12-25 19:32 Bati 阅读(1034) | 评论 (1) 编辑

摘要: paper毕竟是死的, 写paper的人才是活的. 那么我现在研究一下cv圈的格局, 按师承关系, 借鉴前人, 我总结a tree stucture of cv guys.David Marr----->Shimon Ullman (Weizmann) ----->Eric Grimson (MIT) ----->Daniel Huttenlocher (Cornell) ...阅读全文
posted @ 2008-12-25 19:05 Bati 阅读(4407) | 评论 (3) 编辑

摘要: 转自http://blog.csdn.net/flyingflame/archive/2007/07/27/1712509.aspx 1.台湾一人(可能是张智星)的混合高斯模型基础的pfd文档: http://neural.cs.nthu.edu.tw/jang/books/dcpr/doc/08gmm.pdf 2.Kostas N. Kyriakoulis等人编写的GMM toolbox f...阅读全文
posted @ 2008-10-13 19:19 Bati 阅读(2833) | 评论 (0) 编辑

摘要: 总是听到这两个术语,但是又一直不清楚它们最本质的区别。今天花了一小点时间来彻底的弄清楚了。得到的结论如下:Discriminative Model是判别模型,又可以称为条件模型,或条件概率模型。Generative Model是生成模型,又叫产生式模型。二者的本质区别是discriminative model 估计的是条件概率分布(conditional distribution)p(class|...阅读全文
posted @ 2008-09-23 10:33 Bati 阅读(3556) | 评论 (0) 编辑

摘要: [www.csie.ntu.edu.tw/~cjlin/libsvm / *LibSVM*] [http://www.cs.waikato.ac.nz/ml/weka/ *Weka*] [http://yale.sf.net/ *Yale*] [http://www.prtools.org/* PRTools*] [http://bnt.sourceforge.net/ *Bayes Net T...阅读全文
posted @ 2008-07-30 19:42 Bati 阅读(207) | 评论 (0) 编辑

摘要: 1、支持向量机导论,此书乃是SVM方面的经典著作, 该书的作者也是近年来SVM、kernel methods学术圈内的活跃学者,对于这些领域均有过重要的贡献。这本书从“线性机器、核方法、统计学习理论、凸优化”四个方面揭示了SVM的内在机理 --利用核使得能够使用线性的的方法发现数据中的非线性关系,并且利用统计学习理论保证学习机器的泛化性能。这些SVM的内在机理并没有发生重大的改变。 ...阅读全文
posted @ 2008-05-23 17:31 Bati 阅读(2627) | 评论 (0) 编辑

摘要: Tikhonov regularization is the most commonly used method of regularization of ill-posed problems. In some fields, it is also known as ridge regression. In its simplest form, an ill-conditioned system...阅读全文
posted @ 2008-05-20 10:24 Bati 阅读(1890) | 评论 (1) 编辑

摘要: Cross Validation,中文意思是交叉验证,下面是几种不同类型的Cross validation的解释,有一个Idea in p27 in the ideas notebook。 Cross validation is a model evaluation method that is better than residuals. The problem with residual ev...阅读全文
posted @ 2008-05-16 16:14 Bati 阅读(3037) | 评论 (0) 编辑

摘要: 转自http://blog.csdn.net/ranmer/archive/2008/04/14/2292335.aspx 前一阵子的工作已经告一段落了,新的挑战即将开始,既然选择了它,就要无悔,开弓没有回头箭,努力吧!! 人脸检测的任务是在复杂的背景下检测图像中有无人脸,从而判断人是否存在,并提取出人脸面部图像信息. 欧式距离: 在二维和三维空间中的欧式距离的就是两点之间的距离,二维的公式是 ...阅读全文
posted @ 2008-05-14 21:43 Bati 阅读(3705) | 评论 (0) 编辑

摘要: 自从接触SVM就对其非常感兴趣,捣鼓了俩月也算略有小成,但是感觉对突破点还是比较困惑,回头再来看下其热点和发展,感觉思路清晰许多。原文来自:http://blog.sina.com.cn/s/blog_537f95ab010003h3.html支持向量机的发展自从90年代初经典SVM的提出,由于其完整的理论框架和在实际应用中取得的很多好的效果,在机器学习领域受到了广泛的重视。其理论和应用在横向和纵...阅读全文
posted @ 2008-05-12 15:56 Bati 阅读(1116) | 评论 (0) 编辑

摘要: 源代码如下: /*ant.c*/ #define SPACE 0x20#define ESC 0x1b#define ANT_CHAR_EMPTY '+'#define ANT_CHAR_FOOD 153#define HOME_CHAR 'H'#define FOOD_CHAR 'F'#define FOOD_CHAR2 'f'#define FOOD_HOME_COLOR 12#define ...阅读全文
posted @ 2008-05-12 15:54 Bati 阅读(3240) | 评论 (0) 编辑

摘要: 转自http://dreamhead.blogbus.com/logs/16813833.html Weka,是一个用Java编写的数据挖掘软件。数据挖掘,从字面上来看,它是一个从数据中找寻有用信息的过程,不过,它涉及的内容很多,所以,这里借用“分类”这一面来说事。分类,从名称上来看,再简单不过了,给你一样东西,给它分个类。你如何知道怎么分类呢?显然,这是基于你已有的经验。对于计算机而言,这种经验...阅读全文
posted @ 2008-05-12 15:29 Bati 阅读(1341) | 评论 (0) 编辑

摘要: the top conferences and journals in the field, including: * International Conference on Machine Learning (ICML). * Conference on Neural Information Processing Systems (NIPS). * Annual...阅读全文
posted @ 2008-04-28 09:42 Bati 阅读(292) | 评论 (0) 编辑

摘要: Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演译。 机器学习是关于理解与研究学习的内在机制、建立能够通过学习自动提高自身水平的计算机程序的理论方法的学科。近年来机器学习理论...阅读全文
posted @ 2008-04-27 20:36 Bati 阅读(2818) | 评论 (0) 编辑

摘要: 转自http://people.revoledu.com/kardi/tutorial/learning/index.html(By Kardi Teknomo, PhD) This tutorial introduce you to the Monte Carlo game, adaptive machine learning using histogram and learning formu...阅读全文
posted @ 2008-04-27 20:32 Bati 阅读(423) | 评论 (0) 编辑

摘要: Machine Learning Tutorial http://robotics.stanford.edu/people/nilsson/mlbook.html Reinforcement Learning:An Introduction http://www-anw.cs.umass.edu/~rich/book/the-book.html The Journal of Machine Lea...阅读全文
posted @ 2008-04-27 20:24 Bati 阅读(212) | 评论 (0) 编辑

摘要: Supervised Learning: Decision trees, nearest neighbors, linear classifiers and kernels, neural networks, linear regression; learning theory; bagging and boosting; feature selection. Unsupervised Lea...阅读全文
posted @ 2008-04-27 20:22 Bati 阅读(147) | 评论 (0) 编辑

摘要: 转http://www.cse.ust.hk/~ivor C/C++ Programming C++ TutoralThe cplusplus.com TutorialC++ StringIntroduction to Object-Oriented Programming Using C++DJGPPStandard Templale LibraryMakefile Tutorial Mach...阅读全文
posted @ 2008-04-27 20:01 Bati 阅读(542) | 评论 (0) 编辑

摘要: Linear Methods for Regression Linear Methods for Classification Linear Discriminant Analysis Logistic Regression Separating Hyperplanes Basis Expansions...阅读全文
posted @ 2008-04-17 08:58 Bati 阅读(199) | 评论 (0) 编辑

摘要: Learning with Kernels 关于统计学习理论,Kernel和SVM的综合性教材,论述比较深广 Applied Multivariate Statistical Analysis (5th Ed.) 多元统计分析的一本很好的教材 Statistical Pattern Recognition 关于与模式识别有关的统计学习方法的全面综述 Pattern Classification (...阅读全文
posted @ 2008-04-11 20:43 Bati 阅读(383) | 评论 (0) 编辑

摘要: 原文作者:aihorizon.com原文链接: Machine Learning, Part III: Testing Algorithms, and The "No Free译者:commondata ·测试机器学习算法 现在你对机器学习算法的分类已经有了一个大体的了解,但在更进一步了解每个算法的细节之前,你还需要对如何测试机器学习算法有一个大体的认识。 在大多数情况下,将会出现以下三类数据:训...阅读全文
posted @ 2008-04-11 20:32 Bati 阅读(2380) | 评论 (0) 编辑

摘要: 原文作者:aihorizon.com原文链接: Machine Learning, Part I: Supervised and Unsupervised Learning译者:commondata 上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习:监督还是无监督。当训练用例被标记了正确结果的时候,监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent,它的...阅读全文
posted @ 2008-04-11 20:31 Bati 阅读(17748) | 评论 (0) 编辑

摘要: 原文作者:不祥原文链接: Machine Learning, Part I: Types of Learning Problems译者:commondata 在开始学习各种不同类型的机器学习算法之前,首先了解一下背景材料是很有帮助的。它们包括各种算法的执行目标是什么,以及它们适用于人工智能领域的哪些方面。这篇文章将涵盖通常的人工智能研究中的各种学习类型,为每种学习方式提供Example,并且我将尝...阅读全文
posted @ 2008-04-11 20:30 Bati 阅读(2328) | 评论 (1) 编辑

摘要: Journals ACM TKDD http://tkdd.cs.uiuc.edu/DMKD http://www.springerlink.com/content/1573-756X/?p=859c3e83455d41679ef1be783e923d1d&pi=0IEEE TKDE http://www.ieee.org/organizations/pubs/transacti...阅读全文
posted @ 2008-04-11 20:04 Bati 阅读(625) | 评论 (0) 编辑

摘要: Machine Learning 大家(1):M. I. Jordan (http://www.cs.berkeley.edu/~jordan/) 在我的眼里,M Jordan无疑是武林中的泰山北斗。他师出MIT,现在在berkeley坐镇一方,在附近的两所名校(加stanford)中都可以说无出其右者, stanford的Daphne Koller虽然也声名遐迩,但是和Jordan比还是有一段距...阅读全文
posted @ 2008-04-11 20:02 Bati 阅读(283) | 评论 (0) 编辑

摘要: 感觉数学似乎总是不够的。这些日子为了解决research中的一些问题,又在图书馆捧起了数学的教科书。 从大学到现在,课堂上学的和自学的数学其实不算少了,可是在研究的过程中总是发现需要补充新的数学知识。Learning和Vision都是很多种数学的交汇场。看着不同的理论体系的交汇,对于一个researcher来说,往往是非常exciting的enjoyable的事情。不过,这也代表着要充分了解这个领...阅读全文
posted @ 2008-04-11 19:36 Bati 阅读(381) | 评论 (0) 编辑

摘要: Optimization 优化 PCI里面介绍了两个算法:simulated annealing,模拟退火和genetic algorithms,遗传算法。 无论哪种优化算法,这里都需要一个代价计算函数来判定计算过程中产生的结果的好坏。 sa要设置一个较高的初始温度,按照由快变慢的速度在迭代过程中降温。 算法是同一个随机结果开始,在解向量空间的某一维度上做一个小的随机变化而生成一个新的解。...阅读全文
posted @ 2008-04-11 19:10 Bati 阅读(111) | 评论 (0) 编辑

摘要: Multidimensional Scaling 多维标度 ms是用来降低向量空间维度的,一般是降低到二维,降低的过程中要尽量保证各个向量之间的距离在许可范围之内保持相对不变。 可以很形象的把ms的方法用特殊的作用力方式来说明。 首先还是要计算出n维向量空间里面各个向量的距离作为标准距离。 然后把向量看作在二维平面里的一个个粒子,开始的时候粒子的分布是随机的。 粒子之间有引力和斥力。当两...阅读全文
posted @ 2008-04-11 19:10 Bati 阅读(198) | 评论 (0) 编辑

摘要: k-Nearest Neighbors kNN(不要问我叫什么)PCI里面用kNN做了一个价格预测模型,还有一个简单的电影喜好预测。简单来说就是要对一个东西做数值预测,就要先有一堆已经有数值的东西,从里面找出和要预测的东西相似的,再通过计算这些相似东西的均值来作出预测。 kNN里面首先遇到的问题是如何定义“相似”。 把物品的各种属性量化,这样就构成了一个若干维度的向量空间。于是我们说相似就是离...阅读全文
posted @ 2008-04-11 19:09 Bati 阅读(170) | 评论 (0) 编辑

摘要: Neural Networks 神经网络(是这么说吧) nn可以用来做分类和数值型预测。nn有很多类型,PCI里面介绍的是一种多层认知网络,有一层输入神经元和若干层(这里是一层)隐藏神经元。每个神经元有自己的输出值,连接神经元的突触有各自的权重。 使用nn计算的方法叫feed forward,是通过对所有连接到这个节点上一层神经元的输出值与相应的突触权重的乘积求和再用tanh(PCI里面)计算...阅读全文
posted @ 2008-04-11 19:08 Bati 阅读(160) | 评论 (0) 编辑

摘要: 就按照最后一章的顺序来说吧。很多名字都不知道中文该怎么说,就直接用英文名称了。 Naive Bayesian Classifier 朴素贝叶斯分类器nb算法是通过学习样本中已经分类的条目,计算生成条目中的特性相对于类别的概率矩阵,然后根据待分类条目中特性在这个矩阵中的值来反向计算条目的类别概率。 P(Category|Item)=P(Item|Category)*P(Category)/P(I...阅读全文
posted @ 2008-04-11 19:08 Bati 阅读(204) | 评论 (0) 编辑

摘要: SVM is a useful alternative to neural networks Two key concepts of SVM: maximize the margin and the kernel trick http://www.kernel-machines.org/ http://www.support-vector.net/ http://www.support-vecto...阅读全文
posted @ 2008-04-11 18:46 Bati 阅读(257) | 评论 (0) 编辑

摘要: Related Definition: 1.Overfitting happens when a model works very well on its trainning set,but has poor performance on new data. 2.Overfitting is when the NN learns the specific details of the traini...阅读全文
posted @ 2008-04-09 10:19 Bati 阅读(205) | 评论 (0) 编辑

摘要: Reading reference for 9.520-A 学习的网络:回归与分类,2001 春季 透视学习问题 Bertero, M., T. Poggio, and V. Torre. "Ill-posed Problems in Early Vision." Proc. of the IEEE 76 (1988): 869-889. 虽然局限于初期视觉,但该文包含了关于病态问题和正...阅读全文
posted @ 2008-03-30 13:17 Bati 阅读(504) | 评论 (0) 编辑