Elaine_DWL

摘要： [TOC] 从熵到交叉熵损失函数的理解 说在前面 首先，热力学中的“熵”和我们要说的机器学习中的也就是信息学中的“熵”是不一样的。记得高中化学老说说过，熵越大说明状态越不稳定，气态的熵就大于固态的熵。但是 现在要说的“熵”就不一样了。 本文主要的内容： 。先来总结一下： 熵（信息熵） 表示事件所含信 阅读全文

摘要： $c_{t}=c_{t 1} \otimes \sigma\left(W_{f} \cdot\left[H_{t 1}, X_{t}\right]\right) \oplus \tanh \left(W_{c} \cdot\left[H_{t 1}, X_{t}\right]\right) \oti 阅读全文

摘要： RNN中的梯度消失/爆炸原因 梯度消失/梯度爆炸是深度学习中老生常谈的话题，这篇博客主要是对RNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。 首先，上图是RNN的网络结构图，$(x_1, x_2, x_3, …, )$是输入的序列，$X_t$表示时间步为$t$时的输入向量。假设我们总共有$ 阅读全文

摘要： 梯度消失/梯度爆炸是深度学习中老生常谈的话题，这篇博客主要是对DNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。 如上图所示，假设有2个隐层，前向传播公式： $f_1 = \sigma(w_1x+b_1)，z_1 = w_1x+b_1$ $f_2 = \sigma(w_2f_1+b_2)，z 阅读全文

摘要： 旋转数组中的查找系列 这类题型主要是二分法的变形题，一般都是在二分法的代码上进行改进，可以分析 left mid right 这三个位置的相对大小情况来确定二分后两个区间内数据大小的分布情况来缩小范围进行二分。 我一般是先分析mid 和 right 的相对大小情况，如果还不能确定该怎么缩小范围，则继 阅读全文

摘要： `时间限制：3秒 空间限制：131072K` 给定一个数组序列, 需要求选出一个区间, 使得该区间是所有区间中经过如下计算的值最大的一个： 区间中的最小数 区间所有数的和最后程序输出经过计算后的最大值即可，不需要输出具体的区间。如给定序列 [6 2 1]则根据上述公式, 可得到所有可以选定各个区间的 阅读全文

摘要： 股票买卖系列总结 股票买卖系列的题目在面试中还是比较经典的，这里对这一系列做一些简单的总结。 1. 只允许买卖一次 假设股票价格序列为 动态规划。整个过程中的行为选择有3种，买/卖/无操作。 用$dp[i]$表示第$i$天的行为是”卖出“时，能得到的最大收益。显然，我们固定了卖出的时间，只要在这个时 阅读全文

摘要： DNN中梯度消失和梯度爆炸的原因推导 因为手推涉及很多公式，所以这一截图放出。 阅读全文

摘要： Floyd判圈算法 简介 Floyd判圈算法，也称 龟兔赛跑算法 ，可用于判断链表、迭代函数、有限状态机是否有环。如果有，找出环的起点和大小。时间复杂度O(n)，空间复杂度O(1)。 可以先思考一下，假设有一个圆形的跑道周长为$C$，A和B从同一个起点，分别以$v$和$2v$的速度同向出发，可以知道 阅读全文

摘要： [TOC] 因为时间问题，暂时只做简单记录，有时间的话部分内容将写具体的博文详细分析。 while控制数据的接收 while(scanf(%d, &a)!=EOF) 不断输入测试数据，直到遇见结束符(ctrl + z)，类似的还有while(gets(str))等 scanf的妙用 scanf("% 阅读全文