2022年4月12日

重学transformer【学习笔记】

摘要: 以前对transformer的了解只能说个大概 你要说会吧 会的不彻底 不会吧 还能扯一顿。 来源:B站 老弓的学习笔记 这一步讲 decoder的工作原理 怎么感觉像个串行的?一会需要多注意 分批的时候是按照批次内的最长 我记得不是可设置吗 填充到多少? 拿一个batch举例 input不需要处理 阅读全文

posted @ 2022-04-12 15:09 nlp如此迷人 阅读(140) 评论(0) 推荐(0)

2022年4月9日

关于深度学习优化器【转载以学习、回忆】

摘要: 来源链接:https://mp.weixin.qq.com/s/kUE7NcTiQyYP-oWi0T_mbA 来源公众号:阿柴的算法学习日记 转载以学习回忆 ___________________________开始 原文此处有动图。。。。 梯度下降是指,给定待优化的模型参数和目标函数后,算法沿梯度 阅读全文

posted @ 2022-04-09 22:50 nlp如此迷人 阅读(85) 评论(0) 推荐(0)

2022年4月5日

EMNLP 2021 基于Prompt的方面级情感分析研究【转载以学习、回忆】

摘要: 来源链接:https://mp.weixin.qq.com/s/xaG9Nqxhb1eqt1q6DSZMZg 来源Fudan DISC实验室 转载以学习、回忆 1. 基于自然语言提示的开放式方面目标情感分类 (Open Aspect Target Sentiment Classification w 阅读全文

posted @ 2022-04-05 16:24 nlp如此迷人 阅读(1691) 评论(0) 推荐(0)

关于PCA的总结

摘要: 学tranformers的时候记得一种什么~~~流的降维方法,经过查看 链接:https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247489739&idx=1&sn=c766511d71bd9ffcd17fb29536f59ca4&chks 阅读全文

posted @ 2022-04-05 09:48 nlp如此迷人 阅读(108) 评论(0) 推荐(0)

2022年4月3日

学习率预热linear warmup【转载以学习、回忆】

摘要: 来源链接:https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247488715&idx=1&sn=2acedd3705b27e5b9e259485f2dd9653&chksm=9bc5fc99acb2758f82b638d03ace8993 阅读全文

posted @ 2022-04-03 09:05 nlp如此迷人 阅读(441) 评论(0) 推荐(0)

2022年3月30日

关于Adaboost学习笔记

摘要: 内容来自B站 老弓的学习笔记 链接:https://www.bilibili.com/video/BV1x44y1r7Zc?spm_id_from=333.999.0.0 【Adaboost】 【视频一】 集成学习:集成学习通过构建并结合多个学习器来完成学习任务 优点:可以多个学习器结合,获得比单一 阅读全文

posted @ 2022-03-30 15:22 nlp如此迷人 阅读(68) 评论(0) 推荐(0)

2022年3月29日

问题记录 书籍P208 通过交叉熵损失函数对模型参数学习

摘要: 序列标注模型 每个字输出一个1*k的向量 k代表标签的个数。 而一个句子产生了n*k个 当是文本分类的时候是产生了1*k个向量 k代表标签的个数 这里序列标注是如何用交叉熵的?难道是把交叉熵损失函数加和?? 阅读全文

posted @ 2022-03-29 09:18 nlp如此迷人 阅读(37) 评论(0) 推荐(0)

如何处理句对文本分类的数据问题?

摘要: 将要做试验了突然发现不会这个问题。 来源链接:CSDN https://blog.csdn.net/qq_42464569/article/details/123239558 处理句子对有时可能需要将一对句子送入模型。比如,我们需要判断两个句子是否相似;或我们在使用问答模型,需要将文本和问题送入模型 阅读全文

posted @ 2022-03-29 09:05 nlp如此迷人 阅读(256) 评论(0) 推荐(0)

2022年1月18日

关于对话状态跟踪(DST)【转载以学习、回忆】

摘要: 转载链接:https://mp.weixin.qq.com/s/X5nq0YDSSSpTl4cyWln5dw 方式一:具有预定义的槽名称和值,每一轮DST模块试图根据对话历史找到最合适的槽值对。 看成是一个multi-class或者multi-hop classification任务。 multi- 阅读全文

posted @ 2022-01-18 21:03 nlp如此迷人 阅读(1180) 评论(0) 推荐(0)

关于CrossWOZ【转载以学习、回忆】

摘要: 任务:github CrossWOZ下有个trade模型 训练起来 模型架构 输入输出 损失函数是什么 整理成文档。 因此先了解一下CrossWOZ的论文,转载以学习、回忆 转载链接:https://mp.weixin.qq.com/s/_oEdeeTNcoJwN9_gWDsBiA 相比于之前的任务 阅读全文

posted @ 2022-01-18 15:21 nlp如此迷人 阅读(402) 评论(0) 推荐(0)

导航