xxai

摘要： 1 前言 机器学习和深度学习里面都至关重要的一个环节就是优化损失函数，一个模型只有损失函数收敛到一定的值，才有可能会有好的结果，降低损失的工作就是优化方法需做的事。常用的优化方法：梯度下降法家族、牛顿法、拟牛顿法、共轭梯度法、Momentum、Nesterov Momentum、Adagrad、RM 阅读全文

摘要： 1 概率 1.1 概率与随机变量 频率学派概率 (Frequentist Probability)：认为概率和事件发⽣的频率相关。 贝叶斯学派概率 (Bayesian Probability)：认为概率是对某件事发⽣的确定程度，可以理解成是确信的程度。 随机变量 (Random Variable)： 阅读全文

摘要： 1 前言 机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，用来作为系统方程优化的目标或者参数选择的判据。 2 熵的定义？ 信息熵的定义公式： $H(X)=-\sum \limits_{x\in \mathrm{x}}p(x)\ log 阅读全文

摘要： 1、标量、向量、矩阵、张量 1.1 标量(Scalar) 表示一个单独的数，通常用斜体小写字母表示，如$s\in R$ 。 1.2 向量 (Vector) 表⽰一列数，这些数有序排列的，可以通过下标获取对应值，通常⽤粗体⼩写字母表⽰：$x\in R^{n}$ ，它表⽰元素取实数，且有 n个元素，第⼀ 阅读全文

摘要： 一、特征值和特征向量的定义 定义1：设 $A$ 是 $n$ 阶方阵，若存在数 $\lambda$ 和非零向量 $x$，使得 $Ax =\lambda x \quad (x≠0)$ 则称 $\lambda$ 是 $A$ 的一个特征值，$x$ 为 $A$ 的对应于特征值 $\lambda$ 的特征向量。 阅读全文

摘要： 1 介绍 感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础。 感知机 (Perceptron)是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1。感知机对应于输入空间(特征空间)中将实例划为正负两类的分离超平面，属于判别模型。感知机预测是用学 阅读全文

摘要： 1 前言 机器学习中，我们不能将全部数据用于模型训练，否则将没有数据集对模型进行验证，从而无法评估模型的预测效果。模型的评估方法主要是针对有监督学习的。 2 数据集划分方法 我们在拿到数据的时候，数据的表现形式会呈现多种多样性，我们首先需要做的是把数据格式化，把数据处理成计算机可以认识的结构。处理数 阅读全文

摘要： 1 引言 学习神经网络的时候总是听到激活函数这个词，常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。学习激活函数之前，先问几个问题： 什么是激活函数？ 为什么需要激活函数？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 2 什么是激活函数？ 首先要了解神经 阅读全文

摘要： 一：回顾 1.1 人工全连接神经网络 （1）每相邻两层之间的每个神经元之间都是有边相连的。 （2）当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢。 1.2传统神经网络存在的问题： （1）权值太多，计算量太大。 （2）权值太多，需要大量样本进行训练 。 二 阅读全文

摘要： 什么是卷积网络？ 卷积⽹络是指那些⾄少在⽹络的⼀层中使⽤卷积运算来替代一般的矩阵乘法运算的神经⽹络。 卷积运算 卷积操作是指对不同的数据窗口数据 (图像) ⽤一组固定的权重 (滤波矩阵，可以看做⼀个恒定的滤波器 Filter) 逐个元素相乘再求和 (做内积)。也可以⽤如下⽅式理解，如果想要低噪声估计 阅读全文