05 2022 档案

关于CRF层的学习率【转载以学习、回忆】
摘要:面试的时候 会有人问你针对BERT+CRF这种模型做出了什么调参? 这里其实可以答换用不同的BERT 比说哈工大版本的wwm这种整词遮蔽的BERT天然适合识别词级别的任务。 还可以答优化了CRF层的学习率参数,这里呢是以前看到苏神的帖子了解到的,不过又记不太清了,因此转载苏神的文章以学习、回忆。 来 阅读全文

posted @ 2022-05-23 15:41 nlp如此迷人 阅读(262) 评论(0) 推荐(0)

长短句语义相似问题探索【转载以学习、回忆】
摘要:最近看 句向量的东西比较多,很自然的就想到了句子相似度的问题,总觉得自己以前看过句子相似度匹配的问题,但是记不太清了,找来找去原来是叉烧大佬的这篇。 来源公众号:CS的陋室 链接:https://mp.weixin.qq.com/s/K9d8i7EmuTbLul1h_xtjrw 转载以学习回忆 背景 阅读全文

posted @ 2022-05-22 21:12 nlp如此迷人 阅读(548) 评论(0) 推荐(0)

Debiased Contrastive Learning of Unsupervised Sentence Representation无监督句子表示中的对比学习去偏
摘要:论文地址:https://arxiv.org/abs/2205.00656v1 Comments:11 pages, accepted by ACL 2022 main conferenceSubjects:Computation and Language (cs.CL)Cite as:arXiv: 阅读全文

posted @ 2022-05-22 17:43 nlp如此迷人 阅读(257) 评论(0) 推荐(1)

离散型prompt模板构建 【转载以学习、回忆】
摘要:在看产品观点提取比赛 前几名方案有一个用到了P-tuning,这种方法实现了模板的自动构建。但是又查发现prompt构建有连续型又有离散型。 因此寻文一篇查看离散型的构建。 来源:知乎 泽龙 来源链接:https://zhuanlan.zhihu.com/p/488004617 转载以学习、回忆 正 阅读全文

posted @ 2022-05-19 15:13 nlp如此迷人 阅读(673) 评论(0) 推荐(0)

关于Focal Loss【转自以学习、回忆】
摘要:是解决样本不均衡问题的一种方法,面试常问,但是自己一知半解 遂寻文学习 来源:CSDN GHZhao_GIS_RS 链接:https://blog.csdn.net/u014311125/article/details/109470137 转载一篇以学习、回忆。 转载正文开始 有删减 个人觉的要真正 阅读全文

posted @ 2022-05-18 22:24 nlp如此迷人 阅读(991) 评论(0) 推荐(0)

AEDA:文本分类数据增强【转载以学习、回忆】
摘要:在比赛方案中提到了 AEDA这种针对于文本分类的数据增强技术,遂寻文以学习。 来源:CSDN junjian Li 转载链接:https://blog.csdn.net/qq_30129009/article/details/122395160 转载以学习、回忆 论文: AEDA:AnEasier 阅读全文

posted @ 2022-05-18 16:20 nlp如此迷人 阅读(339) 评论(0) 推荐(0)

推荐模型之FM模型——隐向量特征交叉【学习笔记】
摘要:针对问题: 改进思路: 数学模型: 损失函数: 交叉熵损失 阅读全文

posted @ 2022-05-16 20:17 nlp如此迷人 阅读(149) 评论(0) 推荐(0)

推荐模型之特征交叉PLOY2模型(特征交叉的开始)【学习笔记】
摘要:来源:老弓的学习笔记 视频1 什么事特征交叉? 针对问题:逻辑回归存在很大一个问题是只对单一特征做简单加权,不具备特征交叉生成组合特征的能力,因此表达能力收到了限制。 特征交叉: 例子1: 线性加权 不能1+1>2 例子2: 视频2 POLY2模型讲解 特征交叉的开始 数学模型: 损失函数:交叉熵损 阅读全文

posted @ 2022-05-16 19:43 nlp如此迷人 阅读(268) 评论(0) 推荐(0)

推荐模型之矩阵分解【学习笔记】
摘要:来源:老弓的学习笔记 协同过滤的进化-矩阵分解算法MF 针对问题: 1.协同过滤处理【稀疏矩阵】的能力弱 2.维护相似度矩阵难度大 解决思路: 引例: 那些音乐风格相当于是个隐向量 用隐向量,给每个用户与每首音乐打上标签。 实际应用中 k是自己指定的。k越大 表达信息越强 视频3 特征值分解 MF的 阅读全文

posted @ 2022-05-16 18:13 nlp如此迷人 阅读(162) 评论(0) 推荐(0)

推荐模型之协同过滤【学习笔记】
摘要:来源课程 老弓的学习笔记 协同过滤 目标场景:存在共现矩阵的情况下,进行点击率预估、 评分预测等。 基于用户的协同过滤 找与Alice相似的用户 比如说2 基于物品的协同过滤 相似度计算方式: 1.杰卡德(Jaccard)相似度 2.余弦相似度 比较常用 效果也不会太差。 局限性: 举例: 3.皮尔 阅读全文

posted @ 2022-05-16 08:37 nlp如此迷人 阅读(227) 评论(0) 推荐(0)

导航