摘要：目录 最小二乘法的原理与要解决的问题 最小二乘法的代数法解法 最小二乘法的矩阵法解法 最小二乘法的局限性和适用场景 常见问题 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 一、最小二乘法的原理与要 阅读全文

摘要：线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结 目录 背景 简述 内容详解 密度聚类 层次聚类 模型效果判断 附件：手写推导过程练习 一、线性回归函数定义 二、线性回归的模型函数和损失函数由来 原因：中心极限定理 实际问题中，很多随机现象可以看做众多因素的独立影 阅读全文

摘要：经常用到sklearn中的SVC函数，这里把文档中的参数： 本身这个函数也是基于libsvm实现的，所以在参数设置上有很多相似的地方。（PS: libsvm中的二次规划问题的解决算法是SMO）。 sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma 阅读全文

摘要：一、稀疏矩阵(sparse matrix): 1.1 介绍： 矩阵中非零元素的个数远远小于矩阵元素的总数，并且非零元素的分布没有规律，通常认为矩阵中非零元素的总数比上矩阵所有元素总数的值小于等于0.05时，则称该矩阵为稀疏矩阵。因此本文中的数字为50*200=10000，有效数据应该在10000*0 阅读全文

摘要：一、前言 奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，主要应用如下： 信息检索(LSA:隐性语义索引，LSA:隐性语义分析)，分解后的奇异值代表了文章的主题或者概念，信息检索的时候同义词，或者说同一主题下的词会映射为同一主题， 阅读全文