随笔分类 - 数学
摘要：熵和自信息 1. 自信息I(x)是变量X=x时的信息量或编码长度 \[I(x) = - \log (p(x))\] 2. 熵是用来衡量一个随机事件的不确定性 3. 熵是一个随机变量的平均编码长度，即自信息的数学期望（均值）。熵越高，则随机变量的信息越多；熵越低，则信息越少。 互信息 1. 互信息是衡
阅读全文
摘要：数学优化（Mathematical Optimization）问题，也叫最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。 数学优化问题的定义为：给定一个目标函数（也叫代价函数）f : A → R，寻找一个变量（也叫参数）x∗ ∈ D，使得对于所有D中的x，f(x∗) ≤
阅读全文
摘要：泰勒展开式核心思想是仿照 当我们想要仿造一个东西的时候，即先保证大体上相似，再保证局部相似，再保证细节相似，再保证更细微的地方相似……不断地细化下去，无穷次细化以后，仿造的东西将无限接近真品。真假难辨。 由来 一位物理学家，把这则生活经验应用到他自己的研究中，则会出现下列场景： 一辆随意行驶的小车，
阅读全文
摘要：导数 对于定义域和值域都是实数域的函数f : R → R，若f(x) 在点x0 的某个邻域Δx 内，极限 存在，则称函数f(x) 在点x0 处可导，f′(x0) 称为其导数，或导函数，也可以记为 给定一个连续函数，计算其导数的过程称为微分（Differentiation）。微分的逆过程为积分（Int
阅读全文
摘要：ℓ1 范数ℓ1 范数为向量的各个元素的绝对值之和。 ℓ2 范数ℓ2 范数为向量的各个元素的平方和再开平方。 ℓ2 范数又称为Euclidean 范数或者Frobenius 范数。从几何角度，向量也可以表示为从原点出发的一个带箭头的有向线段，其ℓ2 范数为线段的长度，也常称为向量的模。 ℓ∞ 范数ℓ∞
阅读全文
摘要：# 3维import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_classification from mpl_toolkits.mplot3d import Axes3D fig = plt.figure() ax = Axes3D(fig) ...
阅读全文
摘要：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
阅读全文
摘要：1. 联合概率 联合概率：是指两个事件同时发生的概率。 P(A,B)=P(B|A)⋅P(A)⇒P(B|A)=P(A,B)/P(A) 因此当两事件独立时，P(A,B)=P(A)⋅P(B)，此时，P(B|A)=P(B)，也即事件 A 发不发生对事件 B 发生的概率没有影响。
阅读全文
摘要：协方差 用来衡量两个随机变量的分布之间的总体变化性，经常用来衡量两个随机变量之间的线性相关性，如果两个随机变量的协方差为0，那么称这两个随机变量是线性不相关。 偏差(bias) 偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 . 方差(variance) 方差度
阅读全文
摘要：这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你
阅读全文
摘要：softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过
阅读全文
摘要：一、原理 重点：明白偏导数含义，是该函数在该点的切线，就是变化率，一定要理解变化率。 1）什么是梯度 梯度本意是一个向量（矢量），当某一函数在某点处沿着该方向的方向导数取得该点处的最大值，即函数在该点处沿方向变化最快，变化率最大（为该梯度的模）。 2）代价函数有哪些 0-1损失函数(0-1 loss
阅读全文
摘要：怎样理解非线性变换和多层网络后的线性可分，神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换 线性可分： 一维情景：以分类为例，当要分类正数、负数、零，三类的时候，一维空间的直线可以找到两个超平面（比当前空间低一维的子空间。当前空间是直线的话，超平面就是点）分割这三类。但面对像分类奇
阅读全文
摘要：引入 一元函数导数： 在一元函数中，我们已经知道导数就是函数的变化率（对于一个一元函数，x增大了多少，y增大了多少，这个就是变化率）。对于二元函数我们同样要研究它的“变化率”。 在xOy平面内，当动点由P(x0,y0)沿不同方向变化时，函数f(x,y)的变化快慢一般说来是不同的，因此就需要研究f(x
阅读全文
浙公网安备 33010602011771号