摘要：
引言 2015年05月25日。之前在csdn写博客，可是csdn经常进不去，所以转战博客园，就用了一键博客搬家功能,其中诺有版面问题，请来这边：http://blog.csdn.net/shouhuxianjian $\color{red}{【自然语言处理】}$ 0 引言 NLP之引言 1 词向量 阅读全文
摘要：
1引言 通常来说，在NLP领域的很多场景中模型最后所做的基本上都是一个分类任务，虽然表面上看起来不是。例如：文本蕴含任务其实就是将两个序列拼接在一起，然后预测其所属的类别；基于神经网络的序列生成模型（翻译、文本生成等）本质就是预测词表中下一个最有可能出现的词，此时的分类类别就是词表的大小。 对于问答 阅读全文
摘要：
1引言 在自然语言处理领域中，预训练模型通常指代的是预训练语言模型。广义上的预训练语言模型可以泛指提前经过大规模数据训练的语言模型，包括早期的以Word2vec、GloVe为代表的静态词向量模型，以及基于上下文建模的CoVe、ELMo等动态词向量模型。 在2018年，以GPT和BERT为代表的基于深 阅读全文
摘要：
转到了NLP组，算是到了一个新的领域，其实很久之前就想接触NLP了，觉得无头绪，无从下手，很多都是碎片化，过时等资料。看了《ChatGPT对自然语言处理带来什么冲击》,其中以书本为锚点，介绍了NLP的发展史 1自然语言发展史 | 阶段 | 书籍 | 出版年 | | | | | | 第一代统计学习 | 阅读全文
摘要：
1 引言 众所周知： 召回阶段需要尽可能覆盖用户感兴趣的各种类型物品； 粗排模型要求计算快， 精排模型要求计算准确， 重排考虑业务规则、多样性等。 在粗排用的最广泛的就是DSSM双塔模型，其会将用户特征、广告特征分别用两个shallow-dnn的结构计算，得到embedding，线上serving时 阅读全文
摘要：
1 引言 COLD全程：Computing power cost-aware Online and Lightweight Deep pre-ranking system。是阿里巴巴提出的，主要用于推荐中的粗排阶段。该文将粗排的演化分成4个阶段， 第一阶段：简单的规则 第二阶段：LR 第三阶段：基于 阅读全文
摘要：
整理下一些常用的评估模型的指标 1 AUC AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真 阅读全文
摘要：
【A】 Ad Exchanges 广告交易系统，为广告主，为媒体提供交易的一个平台，保证每个广告位的价值最大化。 Ad Network ADN可以被理解为媒体代理公司，通过为广告主采购媒体方流量，赚取中间差价，其代表有百度网盟等 ADimp (ADimpression): 单个广告的展示次数 ADP 阅读全文
摘要：
1 什么是粗排 粗排英文叫pre-ranking，即在排序之前的部分，主要是通过召回获取了足够多的候选物料集，这时候虽然可以一股脑的全堆给后面的排序，但是假如候选集过大，排序模型过于复杂，那么排序阶段会耗时过长；这时候可以增加一个粗排，用来做进一步的筛选，将数据量进一步降下去。 粗排的进展还是较慢的 阅读全文
摘要：
1 引言 在很多公司中是spark处理大量数据，然后塞入redis（如一堆特征数据），但是下游可能存在需要python读取该redis然后获取其中的数据（利用tf进行建模），但是jedis中的客户端分片机制在其他python的客户端sdk中都好像未复现， 2 python客户端调研 如python连 阅读全文
摘要：
1 引言 DSSM，业内也叫做双塔模型,2013年微软发出来是为了解决NLP领域中计算语义相似度任务，即如何让搜索引擎在大规模web文件中基于query给出最相似的docment。因为语义匹配本身是一种排序问题，和推荐场景不谋而合，所以 DSSM 模型被自然的引入到推荐领域中。因为效果不错并且对工业 阅读全文