随笔分类 -  转载以学习回忆

摘要：自己实习的时候遇到这个问题，需要对用到mlm的任务方式，一开始采用了对attention矩阵进行对角线mask的方式，但是训练出现泄漏了，loss很快到了0. 内容来源：https://zhuanlan.zhihu.com/p/453420634 https://www.zhihu.com/ques 阅读全文

摘要：其实对seq2seq如何解码一直不明确。现在整理一下苏神博客里关于seq2seq的知识 。文章太多 只放一个网址吧https://spaces.ac.cn/archives/5861 尽管整个图的线条比较多，可能有点眼花，但其实结构很简单。左边是对输入的encoder，它负责把输入（可能是变长的）编 阅读全文

摘要：面试的时候 会有人问你针对BERT+CRF这种模型做出了什么调参？ 这里其实可以答换用不同的BERT 比说哈工大版本的wwm这种整词遮蔽的BERT天然适合识别词级别的任务。 还可以答优化了CRF层的学习率参数，这里呢是以前看到苏神的帖子了解到的，不过又记不太清了，因此转载苏神的文章以学习、回忆。 来 阅读全文

摘要：最近看 句向量的东西比较多，很自然的就想到了句子相似度的问题，总觉得自己以前看过句子相似度匹配的问题，但是记不太清了，找来找去原来是叉烧大佬的这篇。 来源公众号：CS的陋室 链接：https://mp.weixin.qq.com/s/K9d8i7EmuTbLul1h_xtjrw 转载以学习回忆 背景 阅读全文

摘要：是解决样本不均衡问题的一种方法，面试常问，但是自己一知半解 遂寻文学习 来源：CSDN GHZhao_GIS_RS 链接：https://blog.csdn.net/u014311125/article/details/109470137 转载一篇以学习、回忆。 转载正文开始 有删减 个人觉的要真正 阅读全文

摘要：在比赛方案中提到了 AEDA这种针对于文本分类的数据增强技术，遂寻文以学习。 来源：CSDN junjian Li 转载链接：https://blog.csdn.net/qq_30129009/article/details/122395160 转载以学习、回忆 论文： AEDA：AnEasier 阅读全文

摘要：学tranformers的时候记得一种什么~~~流的降维方法，经过查看 链接：https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247489739&idx=1&sn=c766511d71bd9ffcd17fb29536f59ca4&chks 阅读全文

摘要：来源链接：https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247488715&idx=1&sn=2acedd3705b27e5b9e259485f2dd9653&chksm=9bc5fc99acb2758f82b638d03ace8993 阅读全文

摘要：将要做试验了突然发现不会这个问题。 来源链接：CSDN https://blog.csdn.net/qq_42464569/article/details/123239558 处理句子对有时可能需要将一对句子送入模型。比如，我们需要判断两个句子是否相似；或我们在使用问答模型，需要将文本和问题送入模型 阅读全文

摘要：关于量化 还不明白 转载一篇以学习、回忆 来源链接：https://zhuanlan.zhihu.com/p/86900556 何谓量化，打个比方，看 1080p 太慢，于是降到 720p 看。 同样的，如果用完整 32 位训练和保存的模型看作 1080p 的话，那么量化完后模型就可以当作是 720 阅读全文