摘要：词向量-ELMo介绍 Deep contextualized word representations获得了NAACL 2018的outstanding paper award，其方法有很大的启发意义，本文则是对其做了一个简要梳理。 Motivation 预训练的word representatio 阅读全文

摘要：SquadExample为预处理语音数据的类。 example = SquadExample( qas_id=qas_id, question_text=question_text, context_text=context_text, answer_text=answer_text, start_ 阅读全文

摘要：最近在看QA，对dataset不是很了解，所以看了一下pytorch中的squad_convert_example_to_features。 1.squad_convert_example_to_features 以下为pytorch源代码： 其中example数据大致呈现（不完整）： def sq 阅读全文

摘要：1.encode和encode_plus的区别 区别1. encode仅返回input_ids2. encode_plus返回所有的编码信息，具体如下：’input_ids:是单词在词典中的编码‘token_type_ids’:区分两个句子的编码（上句全为0，下句全为1）‘attention_mas 阅读全文

摘要：1.BertConfig 类 BertConfigBertForQuestionAnswering BERT 模型的配置类，BERT 的超参配置都在这里。其参数（蓝色）和方法（黄色）总览如下： 参数vocab_size：词汇表大小。hidden_size=768：encoder 层和 pooler 阅读全文