摘要：
torch.nn.Module.apply(fn) # 递归的调用weights_init函数,遍历nn.Module的submodule作为参数 # 常用来对模型的参数进行初始化 # fn是对参数进行初始化的函数的句柄,fn以nn.Module或者自己定义的nn.Module的子类作为参数 # f 阅读全文
posted @ 2021-08-20 16:45
今夜无风
阅读(792)
评论(0)
推荐(0)
摘要：
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于D 阅读全文
posted @ 2021-08-20 16:06
今夜无风
阅读(1642)
评论(0)
推荐(0)
摘要：
A command-line interface is provided to convert original Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM checkpoints in models than be loaded using the from_p 阅读全文
posted @ 2021-08-10 16:04
今夜无风
阅读(619)
评论(0)
推荐(0)
摘要：
1.肯定自己， 无惧打压，比你厉害的多的人没工夫 顾及你，打压你的人， 多是因为你快 要超过他们，更应该一鼓作气扳倒他们。 2.精简念头，少欲则刚，不要 想着这个又想着那个， 集中能量精准打击，取得一一样后， 再谋下一样。 3.遇强则强，敢于为强者所为，学习他们身上的优点， 模仿复制再创新，以此为动 阅读全文
posted @ 2021-08-04 18:25
今夜无风
阅读(328)
评论(0)
推荐(0)
摘要：
最近也看了一些博客中的方法，不准备造轮子了，拿来主义使用当先。 几个参考： https://spaces.ac.cn/archives/4176 https://mp.weixin.qq.com/s?__biz=MzUyMDY0OTg3Nw%3D%3D&idx=1&mid=2247483824&sc 阅读全文
posted @ 2021-08-04 16:08
今夜无风
阅读(549)
评论(5)
推荐(0)
摘要：
中文维基百科：高质量、易获取的语料，相当厚道，每月把所有条目都打包一次，爱我大维基。百度百科、互动百科 差评！ 源数据下载地址：https://dumps.wikimedia.org/zhwiki/ 数据抽取脚本： from gensim.corpora.wikicorpus import extr 阅读全文
posted @ 2021-08-03 16:56
今夜无风
阅读(613)
评论(0)
推荐(0)
摘要：
参考博客： https://www.ruilog.com/notebook/view/7287471fa6e0.html https://kavita-ganesan.com/how-to-incorporate-phrases-into-word2vec-a-text-mining-approac 阅读全文
posted @ 2021-08-02 21:31
今夜无风
阅读(141)
评论(0)
推荐(0)
浙公网安备 33010602011771号