随笔分类 - Paper
摘要:第一届AACL,时间是2020年,接受392篇论文,录取106篇,录取率28.3%. 基本上从程序委员会可以看出国内NLP各个领域的代表人物: 对话和交互系统:黄敏烈 话语与语用学:李素建 知识图谱:唐杰 机器翻译:何中军 NLP应用:李纪为 音韵学、形态学和分词:邱锡鹏 问答:陈丹琦,刘康,Sco
阅读全文
摘要:论文链接:https://arxiv.org/pdf/1902.10909.pdf 这篇论文的思路非常简单,就是把BERT用来同时做意图分类和槽填充,其中[CLS]对应的隐藏状态$h_1$用来做句子分类: \[ y^i = softmax(W^ih_1+b^i) \] 同时又拿最后一层每个subwo
阅读全文
摘要:key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 上海华东师范大学; 圣地亚哥AI4ALL 发表 ICLR 2021 领域 命名实体识别 主要贡献 提出一种将词信息融入到字嵌入的方法 基础模型
阅读全文
摘要:key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 哈工大; 讯飞实验室 发表 技术报告 时间 2019.10 领域 预训练模型 主要贡献 将whole word masking方法用在中文预训练上
阅读全文
摘要:RoBERTa: A Robustly Optimized BERT Pretraining Approach. Yinhan Liu, Myle Ott, Naman Goyal, et al. 2019 BERT提出之后,有很多后续工作XLNet、ALICE、XLM、MT-DNN相继被提出,成绩
阅读全文

浙公网安备 33010602011771号