随笔分类 - 机器学习
机器学习理论与实践
摘要：转载自CSDN：https://blog.csdn.net/u013679159/article/details/104209344 本篇文章来自于Number of Parameters and Tensor Sizes in a Convolutional Neural Network (CNN
阅读全文
摘要：卷积神经网络（Convolutional Neural Networl, CNN）的两大核心思想： 局部连接（Local Connectivity） 参数共享（Parameter Sharing） 两者共同的一个关键作用就是减少模型的参数量，使运算更加简洁、高效，能够运行在超大规模数据集上。 局部连
阅读全文
摘要：本文主要是对神经网络模型的基本工作原理做一下简明扼要的阐述，便于快速复习与回顾之需。 背景 神经网络模型最主要的功能之一是完成分类任务，这里为了引入工作原理，先设置一个任务背景：将下面的这幅图中的三角形和正方形分开，也就是一个典型的二维数据（两个特征）的二分类问题。我们用肉眼能很轻松的得出结论：无法
阅读全文
摘要：对于优化算法，优化的目标是网络模型中的参数集合$\theta_1, \theta_2,\dots ,\theta_m$。目标函数为损失函数$L = \frac{1}{N}\sum L_i$（每个样本损失函数的叠加求均值）。在实际的训练过程中，参数$\theta$就相当于这个损失函数$L$的变量，而参
阅读全文
摘要：机器学习中的所有算法都依靠最小化或最大化函数，我们将其称为“目标函数”。被最小化的函数就被称为“损失函数”。损失函数也能衡量预测模型在预测期望结果方面的性能，如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。而在一些优化策略的辅助下，我们可以让模型“学会”逐步减少损失函数预测值的误差，从而
阅读全文
摘要：什么是激活函数 概念 要了解什么是激活函数，首先要了解神经网络模型的基本工作原理。 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活，
阅读全文
摘要：预处理与权重初始化之间的关系 如果做过DNN的实验，大家可能会发现在对数据进行预处理，例如白化或者z-score，甚至是简单的减均值操作都是可以加速收敛的，例如下图所示的一个简单的例子： 图中红点均代表二维的数据点，由于图像数据的每一维一般都是$0~255$之间的数字，因此数据点只会落在第一象限，而
阅读全文
摘要：本文主要是对知乎、CSDN平台上BN相关文章的转载、整理与汇总，记录以方便自己日后的复习巩固，并分享给同样渴望知识的你们。 主体来自知乎soplars理解Batch Normalization系列文章，感谢作者的耕耘！ 一图解释BN作用： 简单粗暴地说，BN就是按批次对网络输出的数据分布先进行一个标
阅读全文
摘要：初始化概念 初始化参数指的是在网络模型训练之前，对各个节点的权重和偏置进行初始化赋值的过程。 在深度学习中，神经网络的权重初始化方法（weight initialization）对模型的收敛速度和性能有着至关重要的影响。模型的训练，简而言之，就是对权重参数$W$的不停迭代更新，以期达到更好的性能。而
阅读全文
摘要：本文主要是对刘建平的机器学习中的矩阵向量求导系列文章的整理和转载，并融入了CSDN、知乎等平台上相关文章要点的学习心得，主要参考链接附在文章结尾处。 求导定义与求导布局 矩阵求导引入 在高等数学里面，我们已经学过了标量对标量的求导，比如标量$y$对标量$x$的求导，可以表示为$\frac{\part
阅读全文
摘要：本文是对网上学习资料的整理与记录（主要来自CSDN，链接附在最后的参考资料部分），方便自己日后的复习巩固，也分享热爱知识的网友们。 对于机器学习中最重要的数学概念之一梯度的解读，主要从《高等数学》和《微积分》中的定义与理解进行剖析，并增加了另一个角度泰勒级数，来解析为什么函数上的一点沿着梯度的方向具
阅读全文
浙公网安备 33010602011771号