摘要： 1. torch.autograd.detect_anomaly() 转自点击 ， import torch # 正向传播时：开启自动求导的异常侦测 torch.autograd.set_detect_anomaly(True) # 反向传播时：在求导时开启侦测 with torch.autogra 阅读全文

摘要： 1. rsession-which-r https://docs.rstudio.com/ide/server-pro/r-sessions.html rsession-which-r=/usr/local/bin/R 更改R的位置 2.多版本R的安装 https://docs.rstudio.co 阅读全文

摘要： 1.IO流 它们是输入输出流， https://stackoverflow.com/questions/3385201/confused-about-stdin-stdout-and-stderr 当程序需要输入和输出以及记录错误时，就可以使用上面的三个输出输出流，它们不用担心是否连接到了键盘或者是 阅读全文

摘要： 1.tqdm是什么？ https://github.com/tqdm/tqdm 简单来说，就是可以显示进度条的，它能够迭代可迭代对象。 然后又测试它是否能用枚举： 感觉不行，打印不了进度条了。 2.例子 https://stackoverflow.com/questions/42212810/tqd 阅读全文

摘要： 1.torch.nn.utils.clip_grad_norm_ https://pytorch.org/docs/master/generated/torch.nn.utils.clip_grad_norm_.html 根据梯度的范数值进行削减， https://stackoverflow.com 阅读全文

摘要： 1.百面机器学习中的讲解 Dropout是指在深度网络的训练中， 以一定的概率随机地 “临时丢弃”一部分神经元节点。 相当于每次迭代都在训练不同结构的神经网络。 类比于Bagging方法， Dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 因此， 对于包含N个神经元节点的网络， 阅读全文

摘要： https://zhuanlan.zhihu.com/p/79714797，其实原理只要搞懂了transformer，这里就很容易懂了。 1.基于decoder 它是一个自回归模型，也就是输出会转变为下一次的输入，主要用来文本生成。 输入编码：词嵌入和位置嵌入向量相加，然后进入masked self 阅读全文

摘要： 1.word2vec模型 https://zhuanlan.zhihu.com/p/27234078 讲的非常好！ 这里说到了上面的这个结论，我的理解是，学习到的kitten和cat在空间中会更接近吗？难道只能通过和其他词的平行四边形才ok？？ 嗯，后面说了，训练的嵌入向量也会非常地相似。 skip 阅读全文

摘要： 1.输入emb层 在modeling.py文件中，首先对token进行emb词向量查询 然后进行emb后处理，获取sentence emb/位置emb： sentence emb也就是segment emb，即不同句子的初始化嵌入向量: 下面是pos emb： https://blog.csdn.n 阅读全文

摘要： 转自：https://radimrehurek.com/gensim/models/phrases.html 1.gensim.models.phrases.Phraser //上面链接中的样例代码复制不行，绝了。。。 >>> from gensim.test.utils import datapa 阅读全文