06 2022 档案

关于模型冻结某层参数的问题
摘要：可看这两个链接 https://www.zhihu.com/question/311095447/answer/589307812 bert冻结参数 https://blog.csdn.net/HUSTHY/article/details/104006106 阅读全文

posted @ 2022-06-23 16:15 nlp如此迷人 阅读(102) 评论(0) 推荐(0)

在huggingface（transformers）加载Bert遇到的attention_mask问题
摘要：记录一个非常有意思的，看了源码才了解的Bert使用方法。 如何通过Bert实现类似left-to-right的语言模型呢？ 一开始自己以为 只能如下使用。 自己以为关于attention_mask的输入只能是对每句话都产生一个二维的attention_mask. 但是自己需要实现left-to-ri 阅读全文

posted @ 2022-06-18 19:05 nlp如此迷人 阅读(898) 评论(0) 推荐(0)

导航