最爱丁珰

摘要： 这段文字主要讨论 随机梯度下降（SGD）中不同的数据采样方式及其影响，具体涉及以下几点： 1. 核心问题：有替换采样 vs. 无替换采样 有替换采样：每次从数据集中随机抽取一个样本后，将其放回原数据集。这意味着同一样本可能被多次选中。 无替换采样：每次从数据集中抽取一个样本后不再放回，直到所有样本都 阅读全文

摘要： \((2)\) a.他的解答的意思没说明白，看c的代码即可 c.代码是正确的，注意\(x_1\)一定小于\(x_2\)，然后去分类讨论即可。到时注意，此时区间缩小的速度是\(\frac{3}{4}\) 阅读全文

摘要： 好的！我将非常详细地解释灾难性遗忘（Catastrophic Forgetting）的机制、成因以及其在深度学习中的具体表现。以下内容将分为多个层次展开： 1. 灾难性遗忘的定义 灾难性遗忘（Catastrophic Forgetting）是指神经网络在学习新任务时，快速丢失对旧任务的知识的现象。这 阅读全文

摘要： \((2)\) 证明一下为什么范数满足三角不等式： \[||x+y||_p=\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}|x_i+y_i|^p}=\sqrt[p]{\underset{i=1}{\overset{d}{\sum}}2^p|\frac{1}{2} 阅读全文

摘要： 式\((11.5)\)的推导过程： 令\(Z=P(X|Y)\sim P_1(Z)\)，则 \[E_{Y\sim P(Y)}[-\log P(X|Y)]=E_{Z\sim P_1(Z)}[-\log Z] \]\[\geq -\log E[Z]=-\log \int P(Y)P(X|Y)dY=-\lo 阅读全文

摘要： 梯度消失问题是指在深度神经网络中，反向传播时梯度随着层数的增加逐渐变小，导致早期层的权重更新非常缓慢，甚至几乎不更新。这个问题在长序列的循环神经网络（RNN）中尤为明显。 为了缓解这个问题，门控循环单元（GRU）和长短期记忆网络（LSTM）引入了门控机制，使得网络能够更好地控制信息的流动。下面我们将 阅读全文

摘要： 字符级语言模型的优缺点见下 好处：不用担心\(\left<\text{UNK}\right>\)的出现 坏处：最终的序列要长的多；训练也要复杂得多（对内存和速度的要求都要高得多） 现如今，人们一般使用单词级RNN，但是也有特殊情况会使用字符级RNN 在训练了一个RNN后，我们可以利用这个RNN采样， 阅读全文

摘要： 目录核心功能TabAICustom ModeAskManualAgent模型免费模型付费模型Chat并发Chat@MCPCursor Rules全局规则项目规则Workspace 核心功能 Tab 这个是Cursor最为强大的功能，使用也很简单，在编写代码的时候，如果出现了灰色的提示词，直接按Tab 阅读全文

摘要： 其实BERT预训练任务中，掩蔽语言模型才是最重要的，下一句预测这个任务造成不了什么影响（BERT的原始论文做了两个预训练任务，但后面有一个人只做了掩蔽语言模型，效果还更好，如下）。但是我们需要学到的就是，无论是什么任务，我们总是期望教会模型一点东西（比如下一句预测就是希望模型学会长距离的关系） 上图 阅读全文

摘要： 这里在一个特定的目录下运行命令行然后输入，就会在当前的路径下安装一个项目。这个项目的名字就叫jrrg-react-study（这个创建只是为了测试用的），我们就可以对这个项目进行编辑（react相关的包已经在里面了）。在我们进行任何的编辑之前，react框架就已经在里面了。如果我们在对应的目录下运行 阅读全文