Leo Zhang

A simple man with my own ideal

2012年2月10日 #

Spectral Clustering

摘要: Spectral Clustering（谱聚类）是一种基于图论的聚类方法，它能够识别任意形状的样本空间且收敛于全局最有解，其基本思想是利用样本数据的相似矩阵进行特征分解后得到的特征向量进行聚类，可见，它与样本feature无关而只与样本个数有关。阅读全文

posted @ 2012-02-10 10:57 Leo Zhang 阅读(365) 评论(1) 编辑

2011年12月29日 #

Gradient And Karush-Kuhn-Tucker Conditions

摘要: 最近开始面试，复习当中发现自己有很多基础的东西有些模糊，借此温故而知新一下，并提醒自己基础很重要，踏踏实实、戒骄戒躁。 一、梯度是什么？ 1、一个小例子 假设有单变量实值...阅读全文

posted @ 2011-12-29 14:23 Leo Zhang 阅读(228) 评论(1) 编辑

2011年10月8日 #

Mahout学习——K-Means Clustering

摘要: K-Means这个词第一次使用是在1967，但是它的思想可以追溯到1957年，它是一种非常简单地基于距离的聚类算法，认为每个Cluster由相似的点组成而这种相似性由距离来衡量，不同Clu...阅读全文

posted @ 2011-10-08 13:00 Leo Zhang 阅读(1359) 评论(1) 编辑

2011年9月23日 #

Mahout学习——Canopy Clustering

摘要: 聚类是机器学习里很重要的一类方法，基本原则是将“性质相似”(这里就有相似的标准问题，比如是基于概率分布模型的相似性又或是基于距离的相似性)的对象尽可能的放在一个Cluster中而不同Cluster中对象尽可能不相似。对聚类算法而言，有三座大山需要爬过去：（1）、a large number of clusters，(2)、a high feature dimensionality，（3...阅读全文

posted @ 2011-09-23 17:30 Leo Zhang 阅读(1965) 评论(7) 编辑

2011年9月20日 #

Hadoop初体验——搭建hadoop简单实现文本数据全局排序

摘要: 之前在实现一些机器学习算法时，跑数据量、feature很多的数据集往往要耗费很多时间，尤其是处理大量文本数据时候，单机跑算法的时间让我无法容忍，理论上如果合理的将大数据量分布式并行计算框架...阅读全文

posted @ 2011-09-20 14:21 Leo Zhang 阅读(1828) 评论(6) 编辑

2011年8月25日 #

SVM学习——Improvements to Platt’s SMO Algorithm

摘要: 纵观SMO算法，其核心是怎么选择每轮优化的两个拉格朗日乘子，标准的SMO算法是通过判断乘子是否违反原问题的KKT条件来选择待优化乘子的，这里可能有一个问题，回顾原问题的KKT条件： 是否违反它，与这几个因素相关：拉格朗日乘子、样本标记、偏置。的更新依赖于两个优化拉格朗日乘子，这就可能出现这种情况：拉格朗日乘子已经能使目标函数达到最优，而SMO算法本身并不能确定当前由于两个优化拉格朗日乘子计算得到的是否就是使目标函数达到最优的那个，换句话说，对一些本来不违反KKT条件的点，由于上次迭代选择了不合适的，使得它们出现违反KKT条件的情况，导致后续出现一些耗时而无用的搜索，针对标...阅读全文

posted @ 2011-08-25 09:35 Leo Zhang 阅读(887) 评论(12) 编辑

2011年6月1日 #

SVM学习——Sequential Minimal Optimization

摘要: 1、前言 接触SVM也有一段时间了，从理论到实践都有了粗浅的认识，我认为SVM的发展可以划分为几个相对独立的部分，首先是SVM理论本身，包括寻找最大间隔分类超平面、引入核方法极大提高对非线性问题的处...阅读全文

posted @ 2011-06-01 23:15 Leo Zhang 阅读(1206) 评论(4) 编辑

2011年3月22日 #

Cholesky分解

摘要: 1、为什么要进行矩阵分解 个人认为，首先，当数据量很大时，将一个矩阵分解为若干个矩阵的乘积可以大大降低存储空间；其次，可以减少真正进行问题处理时的计算量，毕竟算法扫描的元素越少完成任务的速度越快，这...阅读全文

posted @ 2011-03-22 15:28 Leo Zhang 阅读(2262) 评论(18) 编辑

2011年1月13日 #

SVM学习——Coordinate Desent Method

摘要: 前几篇侃了侃SVM的基本原理和一些相关知识，尤其是在SVM学习——软间隔优化这一篇，提到了SVM学习器的两种形式，常被叫做L1-SVM和L2-SVM，这两种形式的区别在损失函数的形式上...阅读全文

posted @ 2011-01-13 10:34 Leo Zhang 阅读(1919) 评论(13) 编辑

2010年12月22日 #

SVM学习——软间隔优化

摘要: 回想SVM学习——线性学习器一文中提到的Rosenblatt感知器的原始形式，当时的讨论是基于输入空间线性可分的情况，包括后来的最大间隔算法，通过核函数隐式的将输入空间映射到了一个高维特征空间中了，此时的假设同样是映射后的数据线性可分，那自然就会想到如果输入空间或者由核函数映射得到的特征空间依然是线性不可分的可怎么办呀？阅读全文

posted @ 2010-12-22 11:09 Leo Zhang 阅读(1872) 评论(6) 编辑

仅列出标题  下一页

导航

统计信息

News

最新随笔

随笔分类(27)

随笔档案(28)

最新评论

阅读排行榜

评论排行榜

推荐排行榜