AliceYing

摘要： 自回归语言模型（Autoregressive LM） 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。EL 阅读全文

摘要： BERT在数据预处理时使用了WordPiece。WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。 WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。 BPE的过程可以理解为把一个单词再拆分，使得我们的词表变得精简，并且 阅读全文

摘要： nll_loss 输入的是求过log_softmax之后的值，默认reduction='mean'，计算的是平均loss，即将targets对应的log_prob相加再求均值： >>> import torch >>> logits=torch.randn(2,3) >>> logits tenso 阅读全文

摘要： 论文：https://arxiv.org/pdf/1901.02860.pdf 源码：https://github.com/kimiyoung/transformer-xl 简介：Transformer-XL（extra long）是为了进一步提升Transformer建模长期依赖的能力。它的核心算 阅读全文

摘要： 使用nll_loss时，如果想计算batch的loss，假设loss函数输入x的shape为 (N, d, C)，其中N是batch_size，d是句子长度，C是vocab_size，标签target y的shape为(N, d)。 nll_loss函数要求输入为 (N, C, d)，target为 阅读全文

摘要： 指定一个文件用来保存图。 格式：tf.summary.FileWritter(path,sess.graph) 可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中 Tensorflow Summary 用法示例 tf.summary.scalar('accu 阅读全文

摘要： 在~/.vimrc中添加： set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936set termencoding=utf-8 如果vim打开显示正常，但是读文件编码有问题，可vim打开文件状态下，:set fileencoding=utf- 阅读全文

摘要： pytorch加载预训练模型出现Segmentation fault (core dumped) 错误，解决方案：升级pytorch版本到1.5.1。 conda升级方式： conda install pytorch=1.5.1 -c soumith 参考：https://github.com/hu 阅读全文

摘要： 1. map()是 Python内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上。 python2中，得到一个新的 list 并返回。 >>> res = map(float, [1,2,3,4]) >>> res [1.0, 2.0, 3. 阅读全文

摘要： 使用 fileinput 模块来读取多个文件。 比如说，想读两个文件 file1.txt 和 file2.txt 。 import fileinputfor line in fileinput.input(["file1.txt","file2.txt"]): print (line) 简而言之，提 阅读全文