11 2021 档案
pycharm配置Bert模型运行参数
摘要:在github官网上,我们可以看到通过控制台运行run_classifier.py并加入相关训练参数可以进行模型的训练,在pycharm中,我们可以提前写好训练参数,直接点运行按钮就可以进行模型的训练,操作步骤如下: 1.右击项目中的run_classifier.py文件,选择Edit'run_cl 阅读全文
posted @ 2021-11-20 17:34 啥123 阅读(1023) 评论(0) 推荐(0)
Batch Normalization
摘要:BN层和卷积层 池化层一样,都是一个神经网络层,BN层在使用激活函数之前。 BN层的操作步骤参考博客:https://blog.csdn.net/gongliming_/article/details/90214338?utm_medium=distribute.pc_relevant.none-t 阅读全文
posted @ 2021-11-13 16:53 啥123 阅读(26) 评论(0) 推荐(0)
归一化
摘要:为什么需要归一化? 如果我们判断一个人的身体健康状况,有两个指标,一个是身高另一个是体重,假如身高1.6米,体重120斤,y=3*1.6+2*120,如果身高变为1.9对结果的影响是增加了0.9,但是如果体重变成130,对结果的影响就是增加30,显然身高1.9米看起来变化更大,但是他对结果的影响较小 阅读全文
posted @ 2021-11-13 15:37 啥123 阅读(248) 评论(0) 推荐(0)
pytorch
摘要:nn.embedding()方法的原理:https://www.jianshu.com/p/63e7acc5e890 阅读全文
posted @ 2021-11-12 16:43 啥123 阅读(9) 评论(0) 推荐(0)
Attention模型
摘要:1.seq2seq模型有遗忘问题和对齐问题,attention在原来的seq2seq模型上做出了改进,在decoder编码阶段它的输入变为原来向量的加权求和,赋予每个向量不同的权重。 获取权重的方式:找一个向量q与输入句子的每个词的向量进行比较,如果两个向量相近则获得的权重比较高。 计算权重的方式: 阅读全文
posted @ 2021-11-06 16:05 啥123 阅读(235) 评论(0) 推荐(0)