代码改变世界

随笔分类 -  Machine Learning

卷积神经网络和CIFAR-10:Yann LeCun专访 Convolutional Nets and CIFAR-10: An Interview with Yann LeCun

2016-03-30 18:35 by GarfieldEr007, 969 阅读, 收藏,
摘要: Recently Kaggle hosted a competition on the CIFAR-10 dataset. The CIFAR-10 dataset consists of 60k 32x32 colour images in 10 classes. This dataset was 阅读全文

机器学习&数据挖掘笔记_14(GMM-HMM语音识别简单理解)

2016-03-29 21:40 by GarfieldEr007, 645 阅读, 收藏,
摘要: 为了对GMM-HMM在语音识别上的应用有个宏观认识,花了些时间读了下HTK(用htk完成简单的孤立词识别)的部分源码,对该算法总算有了点大概认识,达到了预期我想要的。不得不说,网络上关于语音识别的通俗易懂教程太少,都是各种公式满天飞,很少有说具体细节的,当然了,那需要有实战经验才行。下面总结以下几点 阅读全文

机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)

2016-03-29 21:34 by GarfieldEr007, 275 阅读, 收藏,
摘要: 前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信 阅读全文

机器学习、深度学习、数据挖掘各种资源整理

2016-03-29 21:33 by GarfieldEr007, 799 阅读, 收藏,
摘要: Deep Learning(深度学习): ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):二 Bengio团队的deep learning教程,用的theano库,主要是rbm系列,搞py 阅读全文

支持向量机SVM 简要推导过程

2016-03-29 20:53 by GarfieldEr007, 412 阅读, 收藏,
摘要: SVM 是一块很大的内容,网上有写得非常精彩的博客。这篇博客目的不是详细阐述每一个理论和细节,而在于在不丢失重要推导步骤的条件下从宏观上把握 SVM 的思路。 1. 问题由来 SVM (支持向量机) 的主要思想是找到几何间隔最大的超平面对数据进行正确划分,与一般的线性分类器相比,这样的超平面理论上对 阅读全文

稀疏表示介绍(下)

2016-03-29 18:47 by GarfieldEr007, 233 阅读, 收藏,
摘要: 声明 之前虽然听过压缩感知和稀疏表示,实际上前两天才正式着手开始了解,纯属新手,如有错误,敬请指出,共同进步。 主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。 由于对 阅读全文

稀疏表示介绍(中)

2016-03-29 18:46 by GarfieldEr007, 375 阅读, 收藏,
摘要: 声明 之前虽然听过压缩感知和稀疏表示,实际上昨天才正式着手开始了解,纯属新手,如有错误,敬请指出,共同进步。 主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。 由于对图 阅读全文

稀疏表示介绍(上)

2016-03-29 13:11 by GarfieldEr007, 403 阅读, 收藏,
摘要: 声明 之前虽然听过压缩感知和稀疏表示,实际上昨天才正式着手开始了解,纯属新手,如有错误,敬请指出,共同进步。 主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro 第 9 课。 由于对图 阅读全文

机器学习中导数最优化方法(基础篇)

2016-03-29 13:07 by GarfieldEr007, 374 阅读, 收藏,
摘要: 1. 前言 熟悉机器学习的童鞋都知道,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单,coding 方便,是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法,梳理梳理相关的数学知识,本人也是一边写一边学, 阅读全文

漫谈:机器学习中距离和相似性度量方法

2016-03-29 13:04 by GarfieldEr007, 763 阅读, 收藏,
摘要: 在机器学习和数据挖掘中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分类和聚类算法,如 K 最近邻(KNN)和 K 均值(K-Means)等等。根据数据特性的不同,可以采用不同的度量方法。一般而言,定义一个距离函数 d(x,y), 需要满 阅读全文

逻辑回归Logistic Regression 之基础知识准备

2016-03-29 13:01 by GarfieldEr007, 343 阅读, 收藏,
摘要: 0. 前言 这学期 Pattern Recognition 课程的 project 之一是手写数字识别,之二是做一个网站验证码的识别(鸭梨不小哇)。面包要一口一口吃,先尝试把模式识别的经典问题——手写数字识别做出来吧。这系列博客参考deep learning tutorial ,记录下用以下三种方法 阅读全文

从随机过程到马尔科夫链蒙特卡洛方法

2016-03-29 12:56 by GarfieldEr007, 251 阅读, 收藏,
摘要: 1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM 用到了 Gibbs sampling,当时因为要赶着做项目,虽然一头雾水,但是也没没有时间仔细看。 阅读全文

用10张图来看机器学习Machine learning in 10 pictures

2016-03-28 12:42 by GarfieldEr007, 425 阅读, 收藏,
摘要: I find myself coming back to the same few pictures when explaining basic machine learning concepts. Below is a list I find most illuminating. 1. Test 阅读全文

AlphaGo:用机器学习技术古老的围棋游戏掌握AlphaGo: Mastering the ancient game of Go with Machine Learning

2016-03-10 17:28 by GarfieldEr007, 2412 阅读, 收藏,
摘要: AlphaGo: Mastering the ancient game of Go with Machine Learning Posted by David Silver and Demis Hassabis, Google DeepMind Games are a great testing g 阅读全文

探索推荐引擎内部的秘密,第 3 部分: 深入推荐引擎相关算法 - 聚类

2016-03-09 21:26 by GarfieldEr007, 290 阅读, 收藏,
摘要: 聚类分析 什么是聚类分析? 聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluster),它的目标是:在同一个簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大。所以,在很多应用中,一个簇中的数据对象可以被作为一个整体来对待,从而减少计算量或者提高计算质量。 其实聚类 阅读全文

探索推荐引擎内部的秘密,第 2 部分: 深入推荐引擎相关算法 - 协同过滤算法

2016-03-09 21:25 by GarfieldEr007, 468 阅读, 收藏,
摘要: 集体智慧和协同过滤 什么是集体智慧 集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的,只是在 Web2.0 时代,大家在 Web 应用中利用集体智慧构建更加有趣的应用或者得到更好的用户体验。集体智慧是指在大量的人群的行为和数据中收集答案,帮助你对整个人群 阅读全文

探索推荐引擎内部的秘密,第 1 部分: 推荐引擎初探

2016-03-09 21:23 by GarfieldEr007, 180 阅读, 收藏,
摘要: “探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应用。同时在理论讲解的基础上,还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略,进行策略优化,构建高效的推荐引擎的方法。本文作为这个系列的第一 阅读全文

Apache Mahout 简介 通过可伸缩、商业友好的机器学习来构建智能应用程序

2016-03-09 21:21 by GarfieldEr007, 427 阅读, 收藏,
摘要: 在信息时代,公司和个人的成功越来越依赖于迅速有效地将大量数据转化为可操作的信息。无论是每天处理数以千计的个人电子邮件消息,还是从海量博客文章中推测用户的意图,都需要使用一些工具来组织和增强数据。 这其中就蕴含着 机器学习领域以及本文章所介绍项目的前景:Apache Mahout(见 参考资料)。 机 阅读全文

决策树算法介绍及应用

2016-03-09 21:19 by GarfieldEr007, 5289 阅读, 收藏,
摘要: 机器学习概念 机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 机器学习理论主要是设计和分析一些让计算机可以自动学习的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测 阅读全文

实现一个反向传播人工神经网络

2016-03-06 19:45 by GarfieldEr007, 767 阅读, 收藏,
摘要: 为何实现一个BP神经网络? “What I cannot create, I do not understand” — Richard Feynman, February 1988 实现一个BP神经网络的7个步骤 选择神经网络 结构 随机 初始化权重 实现 前向传播 实现 成本函数 $J(\Thet 阅读全文