风雨中的小七

摘要： 模型微调一定比直接使用预训练模型效果好么？微调究竟对Bert的向量空间产生了哪些影响？A Closer Look at How Fine-tuning Changes Bert论文中，作者结合文本分类任务，和DirectProb这两种探测任务，直观展现了模型微调对Bert向量空间的影响 阅读全文

摘要： 这一章我们借着之前的NER的模型聊聊tensorflow serving，以及gRPC调用要注意的点。以下代码为了方便理解做了简化，完整代码详见[**Github-ChineseNER**](https://github.com/DSXiangLi/ChineseNER) ，里面提供了训练好的包括b 阅读全文

摘要： 这一章我们就词汇增强这个中文NER的核心问题之一来看看都有哪些解决方案, 主要包括以SoftLexicon为首的Embedding类方案，以及始于Lattice-LSTM的特殊模型结构类方案。Repo里上传了在MSRA上训练好的bilstm_crf_softlexicon模型以及serving相关的代码, 可以开箱即用哟～ 阅读全文

摘要： 第一章我们简单了解了NER任务和基线模型[Bert-Bilstm-CRF基线模型详解&代码实现](https://www.cnblogs.com/gogoSandy/p/14716671.html)，这一章按解决问题的方法来划分，我们聊聊多任务学习，和对抗迁移学习是如何优化实体识别中边界模糊，垂直领 阅读全文

摘要： 这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见 [**Github-DSXiangLi/ChineseNER**](https://github.c 阅读全文

摘要： 这一章我们来聊聊通用文本框架，直接使用它们的场景已经不多，但你能在各个前沿方法中看到它们的影子。本章包括：为啥需要通用文本表征，为什么部分监督模型效果不好，哪些模型结构和训练任务得到的表征更加通用 阅读全文

摘要： 跨入transformer时代，看看抛开CNN和RNN，如何只基于attention对不定长的序列信息进行提取。这里选取WMT的英翻中任务，我们来一边聊模型insight一边看代码实现 阅读全文

摘要： 这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探 阅读全文

摘要： 前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用文本向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子 阅读全文

摘要： 这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章打标 阅读全文