随笔分类 - Machine Learning
摘要：1. 损失函数、代价函数与目标函数 损失函数（Loss Function） ：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function） ：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。 &ems
阅读全文
摘要：1. 什么是学习率(Learning rate)？ 学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。 这里以梯度下降为例，来观察一下不同的学习率对代价函数的收
阅读全文
摘要：梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常
阅读全文
摘要：1. 为什么要使用正则化 我们先回顾一下房价预测的例子。以下是使用多项式回归来拟合房价预测的数据： 可以看出，左图拟合较为合适，而右图过拟合。如果想要解决右图中的过拟合问题，需要能够使得 $ x^3，x^4 $ 的参数 $ \theta_3，\thet
阅读全文
摘要：github：代码实现之神经网络 本文算法均使用python3实现 1. 什么是神经网络 人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构
阅读全文
摘要：github：代码实现 本文算法均使用python3实现 1. 朴素贝叶斯是什么 依据《统计学方法》上介绍： 朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入
阅读全文
摘要：github：代码实现 本文算法均使用python3实现 1. 异常检测 1.1 异常检测是什么？ 异常检测即为发现与大部分样本点不同的样本点，也就是离群点。 我们可通过下面这个例子进行理解，在飞机引擎制造商对制造好的飞机引擎进行测试时，选择了对飞机引擎运转时产生的热量以及震动强度进行测试，测试后的
阅读全文
摘要：写在前面：本文转载整理自https://blog.csdn.net/shenziheng1/article/details/52916278 1. 特征值与特征向量 对于矩阵 \(A\) ，若满足 \(A \zeta = \lambda \zeta\) ，则称 \(\zeta\) 是矩阵 \(A\)
阅读全文
摘要：github：PCA代码实现、PCA应用 本文算法均使用python3实现 1. 数据降维 在实际生产生活中，我们所获得的数据集在特征上往往具有很高的维度，对高维度的数据进行处理时消耗的时间很大，并且过多的特征变量也会妨碍查找规律的建立。如何在最大程度上保留数据集的信息量的前提下进行数据维度的降低，
阅读全文
摘要：github：kmeans代码实现1、kmeans代码实现2(包含二分k-means) 本文算法均使用python3实现 1 聚类算法 对于**"监督学习"(supervised learning)，其训练样本是带有标记信息的，并且监督学习的目的是：对带有标记的数据集进行模型学习，从而便于对新的样本
阅读全文
摘要：1. 什么是极大似然估计 在日常生活中，我们很容易无意中就使用到极大似然估计的思想，只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是极大似然估计： （1）猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的
阅读全文
摘要：github：代码实现之逻辑回归 本文算法均使用python3实现 1. 什么是逻辑回归 《机器学习实战》一书中提到： 利用逻辑回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类（主要用于解决二分类问题）。 由以上描述我们大概可以想到，对于使用逻辑回归进行分类，我们首先所需
阅读全文
摘要：github：代码实现之一元线性回归、代码实现之多元线性回归与多项式回归 本文算法均使用python3实现 1. 什么是线性回归 《机器学习》对线性回归的定义为： 给定数据集 $ D = {(x^{(1)}, y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m) } ,y^{
阅读全文
摘要：github：代码实现 本文算法均使用python3实现 1. 决策树 决策树（decision tree）是一种基本的分类与回归方法（本文主要是描述分类方法），是基于树结构进行决策的，可以将其认为是if-then规则的集合。一般的，一棵决策树包含一个根节点、若干内部节点和若干叶节点。其中根节点包含
阅读全文
摘要：github：代码实现 本文算法均使用python3实现 1 KNN KNN(k-nearest neighbor, k近邻法)，故名思议，是根据最近的 \(k\) 个邻居来判断未知点属于哪个类别。《统计学习方法》中对其定义为： 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的
阅读全文
浙公网安备 33010602011771号