摘要：OWL-QN算法 优点： 1、不用直接计算Hessian矩阵； 2、通过迭代的方式用一个近似矩阵代替Hessian矩阵的逆矩阵。 缺点： 1、矩阵存储量为，因此维度很大时内存不可接受； 2、矩阵非稀疏会导致训练速度慢。 阅读全文

摘要：一、从Multinomial Logistic模型说起 阅读全文

摘要：Spectral Clustering（谱聚类）是一种基于图论的聚类方法，它能够识别任意形状的样本空间且收敛于全局最有解，其基本思想是利用样本数据的相似矩阵进行特征分解后得到的特征向量进行聚类，可见，它与样本feature无关而只与样本个数有关。 阅读全文

摘要：最近开始面试，复习当中发现自己有很多基础的东西有些模糊，借此温故而知新一下，并提醒自己基础很重要，踏踏实实、戒骄戒躁。 一、梯度是什么？ 1、一个小例子 假设有单变量实值... 阅读全文

摘要：K-Means这个词第一次使用是在1967，但是它的思想可以追溯到1957年，它是一种非常简单地基于距离的聚类算法，认为每个Cluster由相似的点组成而这种相似性由距离来衡量，不同Clu... 阅读全文

摘要：聚类是机器学习里很重要的一类方法，基本原则是将“性质相似”(这里就有相似的标准问题，比如是基于概率分布模型的相似性又或是基于距离的相似性)的对象尽可能的放在一个Cluster中而不同Cluster中对象尽可能不相似。对聚类算法而言，有三座大山需要爬过去：（1）、a large number of clusters，(2)、a high feature dimensionality，（3）、a large number of data points。在这三种情况下，尤其是三种情况都存在时，聚类的计算代价是非常高的，有时候聚类都无法进行下去，于是出现一种简单而又有效地方法：Canopy Method，说简单是因为它不用什么高深的理论或推导就可以理解，说有效是因为它的实际表现确实可圈可点。 阅读全文

摘要：之前在实现一些机器学习算法时，跑数据量、feature很多的数据集往往要耗费很多时间，尤其是处理大量文本数据时候，单机跑算法的时间让我无法容忍，理论上如果合理的将大数据量分布式并行计算框架... 阅读全文

摘要：纵观SMO算法，其核心是怎么选择每轮优化的两个拉格朗日乘子，标准的SMO算法是通过判断乘子是否违反原问题的KKT条件来选择待优化乘子的，这里可能有一个问题，回顾原问题的KKT条件： 是否违反它，与这几个因素相关：拉格朗日乘子、样本标记、偏置。的更新依赖于两个优化拉格朗日乘子，这就可能出现这种情况：拉格朗日乘子已经能使目标函数达到最优，而SMO算法本身并不能确定当前由于两个优化拉格朗日乘子计算得到的是否就是使目标函数达到最优的那个，换句话说，对一些本来不违反KKT条件的点，由于上次迭代选择了不合适的，使得它们出现违反KKT条件的情况，导致后续出现一些耗时而无用的搜索，针对标... 阅读全文

摘要：1、前言 接触SVM也有一段时间了，从理论到实践都有了粗浅的认识，我认为SVM的发展可以划分为几个相对独立的部分，首先是SVM理论本身，包括寻找最大间隔分类超平面、引入核方法极大提高对非线性问题的处... 阅读全文

摘要：1、为什么要进行矩阵分解 个人认为，首先，当数据量很大时，将一个矩阵分解为若干个矩阵的乘积可以大大降低存储空间；其次，可以减少真正进行问题处理时的计算量，毕竟算法扫描的元素越少完成任务的速度越快，这... 阅读全文

摘要：前几篇侃了侃SVM的基本原理和一些相关知识，尤其是在SVM学习——软间隔优化这一篇，提到了SVM学习器的两种形式，常被叫做L1-SVM和L2-SVM，这两种形式的区别在损失函数的形式上... 阅读全文

摘要：回想SVM学习——线性学习器一文中提到的Rosenblatt感知器的原始形式，当时的讨论是基于输入空间线性可分的情况，包括后来的最大间隔算法，通过核函数隐式的将输入空间映射到了一个高维特征空间中了，此时的假设同样是映射后的数据线性可分，那自然就会想到如果输入空间或者由核函数映射得到的特征空间依然是线性不可分的可怎么办呀？ 阅读全文

摘要：关于统计学习的理论博大精深，想要弄明白是需要花费很大功夫的，涉及到方方面面的数学知识(比如泛函分析、高等数学、概率论、统计学…….)，我这里也就是把一些基本概念、理论规整一下。 存在一个未知的系统、给定的输入样本空间和这些输入样本通过处理后的输出。机器学习的过程可以看做是这样的：利用机器学习的方法，根据和得到一个学习机(也可以叫模型)，学习机在接受训练、测试样本以外的样本后得到的输出可以被认为是未知系统针对输入得到的输出的近似，所以这个学习机可以认为是对的内在规律的近似。 阅读全文

摘要：还记得上篇末提到的对于优化问题： 阅读全文

摘要：上一篇最后提到要解决最优化问题，稍微对它做一下改动，如下： 阅读全文

摘要：变量之间存在的一次函数关系是线性关系，那么线性分类就应该是利用这样一种线性关系将输入学习器的样例按照其标记分开。一个线性函数的因变量值是连续的，而分类问题则一般是离散的，这个实值函数可以这样表示： 阅读全文