摘要：权重 (w₁, w₂, w₃, ...) ：每个输入都乘以相应的权重。这些权重是模型在训练过程中学习到的参数。 偏置 (b) ：这是一个额外的参数，加到加权输入上以调整激活函数。它有助于模型做出更好的预测。 求和和激活函数 ：输入的加权和加上偏置后，通过一个激活函数 (f)。这个函数决定了神经元的输 阅读全文

摘要：神经网络组件 ： 简单神经元；多层神经元；前馈神经网络；非线性等。 如何训练 ： 目标；梯度；反向传播。 词表示：Word2Vec： 常见的神经网络 ： RNN（循环神经网络） ： 序列记忆；语言模型。 RNN的梯度问题。 变体：GRU；LSTM；双向RNN。 CNN（卷积神经网络） ： NLP流水 阅读全文

摘要：这张幻灯片讨论了大模型背后的范式，特别是预训练和微调的基本范式可以追溯到迁移学习。以下是主要内容： 迁移学习 ： 预训练和微调的基本范式可以追溯到迁移学习。 人类可以应用之前学到的知识更快地处理新问题，我们希望机器也具有类似的能力。 传统机器学习 vs. 迁移学习 ： 左侧图示（a）展示了传统机器学 阅读全文