随笔分类 - NLP
摘要：博客地址：http://blog.csdn.net/wangxinginnlp/article/details/52944649 资料：https://arxiv.org/abs/1409.0473 说明：基于注意力机制的神经机器翻译（Attention-based NMT）的论文，首次将注意力机制
阅读全文
摘要：由九章算法-令狐提出 data = [1,3,6,8,8,12,88,943] # 第一个等于target的索引位置 def binarySearch(nums,target): if not nums: return -1 start, end = 0, len(nums)-1 while sta
阅读全文
摘要：tf2.0 调试通过代码 #! -*- coding:utf-8 -*- # 文本分类例子下的模型压缩 # 方法为BERT-of-Theseus # 论文：https://arxiv.org/abs/2002.02925 # 博客：https://kexue.fm/archives/7575 imp
阅读全文
摘要：需求：从hive下拉数据，要合并多个数据（每组数据类别不同），如果要在构造数据集最终阶段随机打乱，可以使用pyspark的orderBy随机打乱 from pyspark.sql.functions import rand sql = "select * from abc.table1 limit
阅读全文
摘要：class MMoE_Layer(tf.keras.layers.Layer): def __init__(self,expert_dim,n_expert,n_task): super(MMoE_Layer, self).__init__() self.n_task = n_task # 专家个数
阅读全文
摘要：情景： 推荐召回模型训练，开始的几个epoch损失正常下降，在到某个epoch下loss突然为nan，但模型仍在继续training，最终在模型预测时，结果都为零。 查阅相关资料，可能的原因如下： 1）训练集中可能出现为NAN的特征； 2）自定义loss函数中，会存在分母为零的异常，可以加入微小的长
阅读全文
摘要：AUC是否能作为召回评估指标 首先，AUC是代表模型的排序能力，因为在召回环节考虑所有推荐物品的顺序没有太大意义，所以不是一个好的评估指标。另外后面所有提到的AUC含义都是针对单个user的，即group by user AUC。 AUC和线上优化指标正相关？ 不相关。我们先从AUC的计算说起，计算
阅读全文
摘要：简化NLP：TensorFlow中tf.strings的使用 TensorFlow中很早就包含了tf.strings这个模块，不过实话说，在tf 1.x的固定计算图的情况下，各种操作颇为复杂，我们在迎来了2.0中才更好可以看出tf.strings的威力。 tf.strings的其中一个重要的作用是可
阅读全文
摘要：推荐中的重要用户特征： 1）用户画像，基础属性信息； 2）环境特征，一线还是45线小城镇； 3）资讯特征，新闻or搞笑or即时资讯； 4）相关性特征，关键词匹配特征，类别特征，匹配程度； 5）热度特征，有热度的咨询会做全局推送； 6）协同特征，比较强大的工具，系统过滤模型通过作品的相似程度进行推送
阅读全文
摘要：from keras import Sequential, Model from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint, ReduceLROnPlateau from keras.layers
阅读全文
摘要：对于变长特征编码，我们往往需要用到此。它们的作用是： Padding：将本来不相同的样本填充到相同的长度，以便于后面的处理，我们一般使用0做填充 Mask：告诉网络层那些是真正的数据，哪些是填充的“0”，从而帮助网络层更好地计算 目的：提升序列模型的精度和准确率 使用方法如下： # 第一步，将数据p
阅读全文
摘要：tf模型线上部署需要采用saved_model形式，现将踩过的坑记录如下： """ Function: h5 model to pb to saved_model """ import os import keras import tensorflow import tensorflow as tf
阅读全文
摘要：loss的设计对系统来说至关重要，最初采用用户侧和商品侧向量的夹角余弦，binary_crossentropy进行优化，无法得到满意的模型效果，依托深度模型强大的拟合能力，特征向量居然全部归零。随后重新对系统改进，主要是1.负样本构建；2.loss函数设计 这里主要讲第二点。 基于距离的损失函数--
阅读全文
摘要：1.多输入、多输出 模型某一层接收多输入数据，以实现共享该层参数的目的。如对title和desc做文本分类，两类可以共享一个embedding数据，进而获取某种关联特征，示例代码如下： title = Input(shape=(30,),name="title") desc = Input(shap
阅读全文
摘要：模型结构：双塔结构，包括user tower和item tower 重要的几点： 1.user tower包括了用户的年龄、性别、期望等基本属性，行为数据：搜索query及前7天历史query 2.item tower包括了物品数据（行业特性决定），title、skills、desc，纯文本形式 3
阅读全文
摘要：最近笔者在实验室做一些跨语言检索的研究，这是一种「面向相关性」的向量召回方法，然而在实际的搜索应用中，仅仅考虑相关性往往是不够的。尤其在候选量很大、计算资源有限的情况下，我们更希望优先召回高成交率的商品。 想要达到这种目标，需要在语义相关（Semantic）目标基础上增加「个性化」（Personal
阅读全文
摘要：注意：此模式下不能用fit_generator() 方式训练 """ GPU test """ import os import sys os.system('pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==2.3.1')
阅读全文
摘要：1. Item2vec 作为 Word2vec 模型的推广，理论上可以利用任何序列型数据生成物品的 Embedding 向量, 这大大拓展了 Word2vec 的应用场景。广义上的 Item2vec 模型其实是物品向量化方法的统称，它可以利用不同的深度学习网络结构对物品特征进行 Embedding
阅读全文
摘要：关于信息流推荐系统中召回模块建模采样方式的讨论大家好，我是CNU小学生，国内top10-20互联网公司小兵一枚，在此抛砖引玉，真诚希望各位读者不吝赐教。 1.信息流推荐系统中的召回业务 2019年知名互联网公司的信息流推荐系统项目可大致分为4个模块：用户画像，物品画像，召回，排序。 召回模块的功能是
阅读全文
摘要：为了便于观察两种情况下的类别出现情况，可以通过合并索引观察： 比较：
阅读全文
浙公网安备 33010602011771号