自然语言处理 - 随笔分类 - 中大网安维修师傅

摘要：对话策略生成用户看不到中间状态任务型对话系统多个领域问题 One-hot Act分类的任务->生成的任务计算损失结果不稳定 2018 不确定损失低资源学习多模态学习阅读全文

posted @ 2021-01-07 11:30 中大网安维修师傅阅读(63) 评论(0) 推荐(0)

摘要：关键环节括号嵌套表示 1. 半监督 2. EM算法和极大似然估计阅读全文

posted @ 2020-11-19 14:13 中大网安维修师傅阅读(142) 评论(0) 推荐(0)

摘要：Attention机制：人看东西的启发所谓注意力，就是计算相似度 a是权重，即相似度 The Transformer 位置是有相对关系的残差，梯度消失多重注意力是自己和自己计算的 https://www.jianshu.com/p/ef41302edeef 自注意力怎么计算 Qn和Kn+1做阅读全文

posted @ 2020-11-12 13:15 中大网安维修师傅阅读(62) 评论(0) 推荐(0)

【自然语言】预训练

摘要：预训练微调斯坦福 Word Embeding 同义层级关系 WordNet 词的网络树的结构人工构建存在主观性问题怎么判断相似度：最短路径 - 转换为0~1的相似度（度量）分布式表示词的语义分布到不同的神经元上通过神经元的组合来形成语义的表示 word2vec （找中文版的）阅读全文

posted @ 2020-10-29 18:36 中大网安维修师傅阅读(61) 评论(0) 推荐(0)

【自然语言处理2】条件随机场

摘要：大作业： 1.实现中文分词模型神经语言模型 LSTM 2. 生成文本参考： 1.https://zhuanlan.zhihu.com/p/29989121 条件随机场条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概阅读全文

posted @ 2020-10-08 11:07 中大网安维修师傅阅读(144) 评论(0) 推荐(0)

【自然语言处理1】HMM

摘要：隐马尔可夫模型HMM 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。和HMM模型相关的算法主要分为三类，分别解决三种问题： 1）阅读全文

posted @ 2020-10-08 10:57 中大网安维修师傅阅读(321) 评论(0) 推荐(0)

导航

随笔分类 - 自然语言处理