随笔分类 -  机器学习

摘要：理解反向传播 要理解反向传播，先来看看正向传播。下面是一个神经网络的一般结构图： 其中，\(x\) 表示输入样本，\(\bm{w}\) 表示未知参数(图中未标出偏置 \(b\))， \(S\) 表示激活函数，\(y\) 表示预测值，\(\hat{y}\) 表示真实值。 显然，通过从样本 \(x\) 阅读全文

摘要：之前写的线性回归，充斥了大量的公式，对于入门来说显得过于枯燥，所以打算重写这一部分，而了解了线性回归后，它又可以为我们解释深度学习的由来。 一、机器学习简述 机器学习可以理解为计算机根据给定的问题及数据进行学习，并可根据学习结果解决同类型的问题。可以把机器学习比作一个函数，把我们已知的数据输入进去， 阅读全文

摘要：简介 朴素贝叶斯是一种基于概率进行分类的算法，跟之前的逻辑回归有些相似，两者都使用了概率和最大似然的思想。但与逻辑回归不同的是，朴素贝叶斯通过先验概率和似然概率计算样本在每个分类下的概率，并将其归为概率值最大的那个分类。朴素贝叶斯适用于文本分类、垃圾邮件处理等NLP下的多分类问题。 核心思想 每个样 阅读全文

摘要：k-means简介 k-means是无监督学习下的一种聚类算法，简单说就是不需要数据标签，仅靠特征值就可以将数据分为指定的几类。k-means算法的核心就是通过计算每个数据点与k个质心（或重心）之间的距离，找出与各质心距离最近的点，并将这些点分为该质心所在的簇，从而实现聚类的效果。 k-means具 阅读全文

摘要：之前对线性回归和逻辑回归的理论部分做了较为详细的论述，下面通过一些例子再来巩固一下之前所学的内容。 需要说明的是，虽然我们在线性回归中都是直接通过公式推导求出w和b的精确值，但在实际运用中基本上都会采用梯度下降法作为首选，因为用代码表示公式会比较繁琐，而梯度下降法只需要不断对参数更新公式进行迭代即可 阅读全文

摘要：什么是线性回归？ 根据样本数据的分布特点，通过线性关系模拟数据分布趋势，从而进行预测。对于下图来说，样本点的连线大致接近于一条直线，所以就可以将函数模拟成线性方程。 设 f(x) = wx + b，所以只要求出w 和 b，就可以得到x与y的关系，从而能够根据x预测出对应的y。 要求 w 和 b，只能 阅读全文

摘要：决策树，听名字就知道跟树有关，而且很容易猜到是一种类似依靠树形结构来辅助决策过程的策略。所以重点就是如何构建这个树，如何依次选取树的各个节点，以便能在测试集中有较好的表现。 信息熵与信息增益 说到如何选取节点，就要引入信息熵的概念。我以前一看到“熵”这个字就头疼，以为是跟高深的物理学相关，其实很好理 阅读全文