wangssd

摘要： BERT模型中的特殊标记（Special Tokens）。它们的含义如下： [PAD]：在batch中对齐序列长度时，用 [PAD]进行填充以使所有序列长度相同。可以通过将其添加到较短的序列末尾来实现对齐。[CLS]：在输入序列的开头添加 [CLS] 标记，以表示该序列的分类结果。[SEP]：用于分 阅读全文

摘要： LSTM “权值共享”： 一个LSTM单元在每个时间步 t 的计算都遵循相同的公式，并使用同一套参数 W_f, W_i, W_o, W_c, U_f, U_i, U_o, U_c 和偏置 b_f, b_i, b_o, b_c。 这些参数在时间维度上是“共享”的。无论你处理的是句子的第一个单词还是最后 阅读全文