随笔分类 -  机器学习算法

常见的机器学习算法的思路及算法实现
矩阵之间无循环计算L2距离
摘要：实现两个矩阵的无循环计算欧氏距离 Euclidean distance navigation: "1.问题描述" "2.解决方法" 1.问题来源 kNN算法中会计算两个矩阵的距离 可以使用循环的方法来实现，效率较低 2.无循环计算L2 distances 一眼看到这个代码，真的是被深深折服！厉害，值 阅读全文
posted @ 2018-12-26 15:10 dengshuo7412 阅读(2979) 评论(2) 推荐(2)
SVD奇异值分解
摘要：Singular Value Decomposition "1.SVD矩阵分解" "2.SVD的实现" "3.SVD的应用" 矩阵分解，特征值 矩阵的特征值分解的原理 目的是什么 如何去使用。 "为什么要对矩阵进行分解：知乎 马同学" 1.SVD矩阵分解 任意实矩阵$A\in R^{m n}$都可以 阅读全文
posted @ 2018-12-10 20:47 dengshuo7412 阅读(446) 评论(0) 推荐(0)
PCA主成分分析
摘要：主成分分析 PCA：principal component analysis 主成分分析是最常用的一种降维分析 目的：降低数据的复杂性，找到最有用的特征 降维： PCA FA 因子分析 factor analysis ICA 独立成分分析 independent component analysis 阅读全文
posted @ 2018-12-06 17:53 dengshuo7412 阅读(608) 评论(0) 推荐(0)
LR模型常见问题
摘要：信息速览 基础知识介绍 广义线性回归 逻辑斯蒂回归模型推导 逻辑斯蒂回归常见问题 补充知识信息点 基础知识: 机器学习对结果的形式分类: 分类算法 回归算法 LR:logistic regression 逻辑斯谛回归 （对数几率回归 logit regression） LR是一个分类模型 是一个基于 阅读全文
posted @ 2018-12-04 21:34 dengshuo7412 阅读(581) 评论(0) 推荐(0)
机器学习性能度量指标:ROC曲线、查准率、查全率、F1
摘要：错误率 在常见的具体机器学习算法模型中，一般都使用错误率来优化loss function来保证模型达到最优。 $$错误率=\frac{分类错误的样本}{样本总数}$$ $$error=\frac{1}{m} \sum_{i=1}^{m} I(f(x_{i})\neq y_{i})$$ 但是错误率有一 阅读全文
posted @ 2018-11-27 09:31 dengshuo7412 阅读(538) 评论(0) 推荐(0)
机器学习中的概念和名词解释
摘要：记录一些需要深入理解的概念及定义 基本概念 特征空间(feature space):所有特征向量存在的空间称为特征空间．特征空间的每一维对应于一个特征． 特征向量(feature vector):每个具体的输入是一个实例(instance)，实例中每个点对应一个坐标向量．我们把一个实例称为特征向量． 阅读全文
posted @ 2018-09-19 11:45 dengshuo7412 阅读(1447) 评论(0) 推荐(0)
Softmax函数
摘要：相关概念： max函数定义就是在选取最大的值．这个最大值函数只能选择最大值 如果我想要一个能够大概率选择最大值，还能够小概率选择小值的函数．这就要用到softmax函数 softmax函数的定义：或称为归一化指数函数，是逻辑函数的推广．能够将一个含有任意实数的k维向量z压缩到另一个k维实向量$\si 阅读全文
posted @ 2018-09-18 11:35 dengshuo7412 阅读(521) 评论(0) 推荐(0)
深度学习常见的优化方法(Optimizer)总结:Adam,SGD,Momentum,AdaGard等
摘要：机器学习的常见优化方法在最近的学习中经常遇到，但是还是不够精通．将自己的学习记录下来，以备不时之需 基础知识: 机器学习几乎所有的算法都要利用损失函数 lossfunction 来检验算法模型的优劣，同时利用损失函数来提升算法模型． 这个提升的过程就叫做优化(Optimizer) 下面这个内容主要就 阅读全文
posted @ 2018-09-16 11:14 dengshuo7412 阅读(33401) 评论(1) 推荐(3)
学习中遇到的问题
摘要：1.在编写程序的过程中，break没有理解透，也就是自己编写程序很难将break应用在程序中？ 2.python 中的numpy在多维数组进行索引时，数字索引和切片索引？ 程序中可以得出的是，使用数字索引会使数组的维数降低！ 机器学习的思想：利用优化函数来寻找能使损失函数最小的那个参数 凸优化问题( 阅读全文
posted @ 2018-07-26 11:21 dengshuo7412 阅读(508) 评论(0) 推荐(0)
贝叶斯分类器
摘要：贝叶斯分类器 1.基础知识 概率论的基本知识 先验概率:由以往的数据得到的 后验概率:得到信息后再重新加以修正的概率 判别式模型＆生成式模型 判别式模型(discriminative models): 给定Ｘ，可以通过直接建模$P(c\mid \textbf x)$来预测c,简单而又直接的办法．例如 阅读全文
posted @ 2018-06-26 15:22 dengshuo7412 阅读(558) 评论(0) 推荐(0)
支持向量机
摘要：支持向量机 一．基础知识: 概念及定义: 支持向量机是一个二类分类模型，基本模型的定义为：是在特征空间上的间隔最大的线性分类器支持向量机学习的 基本想法 是求解能够正确划分训练数据集并且几何间隔最大的分离超平面． 二次规划是一类典型的优化问题,包括凸二次优化和非凸二次优化目标函数是变量的二次函数,约 阅读全文
posted @ 2018-06-24 15:35 dengshuo7412 阅读(592) 评论(0) 推荐(0)
神经网络
摘要：神经网络 神经网络优秀讲解链接 "基础讲解及实现神经网络_python" "神经网络实现_c++" 一.基础知识 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络 Perceptron 感知机 :感知机是一种 线性分类 模型感知机只有两层神经元组成，而且只有输出层是M P神经单元也就是功能神 阅读全文
posted @ 2018-06-24 15:28 dengshuo7412 阅读(657) 评论(0) 推荐(0)
决策树
摘要：决策树 Decision Tree 一.基础知识 树的基本类型: 结点(内部节点,叶结点)+有向边 决策树也叫判断树,树的结构是满足 if then 条件规则的. 树的特点:可读性性高,分类速度快 二.思想脉络 决策树=从训练数据集中归纳出一组分类规则(模型)+以损失函数为目标函数的最小化(策略)+ 阅读全文
posted @ 2018-06-24 15:24 dengshuo7412 阅读(498) 评论(0) 推荐(0)
k近邻法的实现
摘要：k近邻法 模型 使用的模型实际上对应于特征空间的划分.模型的三个基本要素:1.距离度量 2. k值的选择 3. 分类决策规则决定. k值的选择：k值的选择，k如果选择的过小会导致过拟合，模型会变得复杂． 思想脉络 方法的流程简述:给定一个训练数据集,对于新的输入实例,在训练数据集中找到与之最临近的k 阅读全文
posted @ 2018-06-24 15:22 dengshuo7412 阅读(214) 评论(0) 推荐(0)