Living and learning

摘要： 对于优化算法，优化的目标是网络模型中的参数集合$\theta_1, \theta_2,\dots ,\theta_m$。目标函数为损失函数$L = \frac{1}{N}\sum L_i$（每个样本损失函数的叠加求均值）。在实际的训练过程中，参数$\theta$就相当于这个损失函数$L$的变量，而参 阅读全文

摘要： 机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能，如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。而在一些优化策略的辅助下，我们可以让模型“学会”逐步减少损失函数预测值的误差，从而 阅读全文

摘要： 什么是激活函数 概念 要了解什么是激活函数，首先要了解神经网络模型的基本工作原理。 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活， 阅读全文

摘要： 预处理与权重初始化之间的关系 如果做过DNN的实验，大家可能会发现在对数据进行预处理，例如白化或者z-score，甚至是简单的减均值操作都是可以加速收敛的，例如下图所示的一个简单的例子： 图中红点均代表二维的数据点，由于图像数据的每一维一般都是$0~255$之间的数字，因此数据点只会落在第一象限，而 阅读全文

摘要： 本文主要是对知乎、CSDN平台上BN相关文章的转载、整理与汇总，记录以方便自己日后的复习巩固，并分享给同样渴望知识的你们。 主体来自知乎soplars理解Batch Normalization系列文章，感谢作者的耕耘！ 一图解释BN作用： 简单粗暴地说，BN就是按批次对网络输出的数据分布先进行一个标 阅读全文

摘要： 初始化概念 初始化参数指的是在网络模型训练之前，对各个节点的权重和偏置进行初始化赋值的过程。 在深度学习中，神经网络的权重初始化方法（weight initialization）对模型的收敛速度和性能有着至关重要的影响。模型的训练，简而言之，就是对权重参数$W$的不停迭代更新，以期达到更好的性能。而 阅读全文

摘要： 定义 均匀分布也叫矩形分布，它是对称概率分布，在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数$a$和$b$定义，它们是数轴上的最小值和最大值，通常缩写为$U(a, b)$。 概率密度函数 $$f(x) = \begin{cases} \frac{1}{b - a}& \text{$a < 阅读全文

摘要： 本文主要是对刘建平的机器学习中的矩阵向量求导系列文章的整理和转载，并融入了CSDN、知乎等平台上相关文章要点的学习心得，主要参考链接附在文章结尾处。 求导定义与求导布局 矩阵求导引入 在高等数学里面，我们已经学过了标量对标量的求导，比如标量$y$对标量$x$的求导，可以表示为$\frac{\part 阅读全文

摘要： 本文是对网上学习资料的整理与记录（主要来自CSDN，链接附在最后的参考资料部分），方便自己日后的复习巩固，也分享热爱知识的网友们。 对于机器学习中最重要的数学概念之一梯度的解读，主要从《高等数学》和《微积分》中的定义与理解进行剖析，并增加了另一个角度泰勒级数，来解析为什么函数上的一点沿着梯度的方向具 阅读全文

摘要： 经典动态规划：背包问题 本文题为《背包问题九讲》，从属于《动态规划的思考艺术》系列。这系列文章的第一版于 2007 年下半年使用 EmacsMuse 制作，以 HTML 格式发布到网上，转载众多，有一定影响力。2011 年 9 月，本系列文章由原作者用$LATEX$重新制作并全面修订，您现在看到的是 阅读全文