摘要：目录：1、问题描述2、问题转化3、划分准则4、总结1、问题描述 谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图(sub-Graph)，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。 对于图的相关定义如下：对于无向图G = (V,E)，V表示顶点集合，即样本集合，即一个顶点为一个样本；E表示边集合。设样本数为n，即顶点数为n。权重矩阵：W，为n*n的矩阵，其值wi,j为各边的权值，表示顶点 i，j（样本）之间的相似性。对于任意wi,j =wj,i，wi,i=0，即对角线上元素为0。通常情况.. 阅读全文

摘要：目录：1、数学模型2、求解3、总结1、数学模型 Logistic（逻辑斯特）回归的目的是从样本（训练集）中学习出一个0-1分类模型。 定义一个概率函数，即logistic函数（或叫sigmoid function），形式如下：可以看出，g(z)范围为(0,1)，即g(z)可以将无限宽的范围（即自变量的取值范围）映射到(0,1)，其图形如下：则将假设函数（hypothesis）设为：而假设函数的值，即为y = 1的概率，即：当我们要判别一个新数据的特征属于哪个类时，只需求假设函数的值，若大于0.5，就是 y = 1 类，反之，则属于 y = 0 类。以下用更通用的函数表达上面两个式子：上式与.. 阅读全文

摘要：目录：1、简述2、数学表达3、总结1、简述 线性回归是一种parametric learning algorithm，而局部加权线性回归是一种 non-parametric learning algorithm。Parametric learning algorithm 有固定的（指的是：值的大小是固定）、有限的参数，通过训练样本，找到合适的参数后，对于之后未知的输入，我们可以直接利用这组参数得出其相应的预测输出。而non-parametriclearning algorithm 需要的计算量与输入的训练集大小成正比，对于每次新的输入，需重新计算相应参数后，才能求取相应的预测输出。 “局部.. 阅读全文

摘要：目录：1、什么是线性回归 1.1 理论模型 1.2 数据和估计2、线性回归参数求解方法 2.1 直接求取参数 2.2 梯度下降法 2.3 随机梯度下降法3、为什么选择最小二乘为评判标准 3.1 似然函数 3.2 求解极大似然函数 3.3 结论1、什么是线性回归 线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。1.1 理论模型 给一个随机样本，一个线性回归模型假设回... 阅读全文