风雨中的小七

摘要： 这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见 [**Github-DSXiangLi/ChineseNER**](https://github.c 阅读全文

摘要： 这一章我们来聊聊通用文本框架，直接使用它们的场景已经不多，但你能在各个前沿方法中看到它们的影子。本章包括：为啥需要通用文本表征，为什么部分监督模型效果不好，哪些模型结构和训练任务得到的表征更加通用 阅读全文

摘要： 跨入transformer时代，看看抛开CNN和RNN，如何只基于attention对不定长的序列信息进行提取。这里选取WMT的英翻中任务，我们来一边聊模型insight一边看代码实现 阅读全文

摘要： 这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探 阅读全文

摘要： 前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用文本向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子 阅读全文

摘要： 这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章打标 阅读全文

摘要： Fasttext其实包括两个模型，一个是文本分类模型，效果不算顶尖但胜在轻量高效，另一个词向量模型，主要创新在于把单词分解成字符，可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在文本分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding 阅读全文

摘要： word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述，推导，训练，和基于tf.estimator实现的具体细节。 阅读全文

摘要： 一直在关注可解释机器学习领域，因为确实在工作中有许多应用 模型检查，特征重要性是否符合预期和AUC一样重要 模型解释，比起虚无缥缈的模型指标，解释模型学到的规律更能说服业务方 样本解释，为什么这些用户会违约，是否有指标能提前预警？ 决策归因，有时模型只是提取pattern的方式，最终需要给到归因/决策，例如HTE模型和XAI结合是否也是一种落地方式 阅读全文

摘要： xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。 以 阅读全文