摘要: 摘要:   1.各种算法的推导   2.各种算法的比较(或优缺点)   3.学习理论 4.特征选择方法   5.模型选择方法   6.特征工程   7.数据预处理   8.应用例子 阅读全文
posted @ 2017-01-12 15:59 混沌战神阿瑞斯 阅读(1751) 评论(0) 推荐(1) 编辑
摘要: 0.写在前面的话 DSSM(Deep Structured Semantic Models)又称双塔模型,因其结构简单,在推荐系统中应用广泛;下面仅以召回、粗排两个阶段的应用举例,具体描述下DSSM在工业界实践的一些所见所闻,力求自身和大家都能有所收获。 1.网络结构 paper:Learning 阅读全文
posted @ 2021-02-09 16:16 混沌战神阿瑞斯 阅读(903) 评论(0) 推荐(1) 编辑
摘要: 计费问题 计算广告的核心问题,是为一系列用户与上下文的组合找到最合适的广告投放测了以优化整体广告活动的利润。1.CPT(Cost per Time)结算:这是将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。 2.CPM(Cost per Mile)结算:即按照千次(Mile)展 阅读全文
posted @ 2021-02-06 18:51 混沌战神阿瑞斯 阅读(144) 评论(0) 推荐(0) 编辑
摘要: UCF通常是User-base Collaborative Filter的简写;大体的算法思路是根据用户行为计算相似群体(邻居),为用户推荐其邻居喜好的内容;感觉是不是很简单、那废话不多说先撸个SQL。 阅读全文
posted @ 2021-02-06 13:54 混沌战神阿瑞斯 阅读(462) 评论(1) 推荐(1) 编辑
摘要: SDM:SDM: Sequential Deep Matching Model for Online Large-scale Recommender System 在淘宝的场景中,用户的行为主要分为两种,第一个是当前的浏览session,用户在一个session中,需求往往是十分明确的,比如你想买球鞋,往往只会关注球鞋类的商品。另一个是之前的记录,一个用户虽然可能不是每次都来买球鞋,但是也可能提供一定的有用信息,比如用户只买阿迪的鞋子或者只买帆布鞋等等。因此分别建模这两种行为序列来刻画用户的兴趣,是十分有用的。 阅读全文
posted @ 2020-06-29 23:55 混沌战神阿瑞斯 阅读(1556) 评论(0) 推荐(0) 编辑
摘要: 引入 分类性能 ROC图和ROC曲线 AUC 平均ROC曲线 阅读全文
posted @ 2020-04-05 21:17 混沌战神阿瑞斯 阅读(395) 评论(0) 推荐(0) 编辑
摘要: 排名公式 Hacker News(帖子投票) Reddit(帖子赞踩) Stack Overflow(问题的得分、回答的数目和该问题的浏览次数) 牛顿冷却定律 威尔逊区间 IMDB算法(贝叶斯算法,电影评分) 梅西法(BCS体育赛事) 科利法(Netflix电影评分) 马尔可夫法(PageRank网页排名) 杂记 附录 阅读全文
posted @ 2020-03-14 22:06 混沌战神阿瑞斯 阅读(710) 评论(0) 推荐(0) 编辑
摘要: TensorFlow 高阶API Tensorflow Serving 开发中遇到的其他问题记录 阅读全文
posted @ 2020-03-08 13:23 混沌战神阿瑞斯 阅读(641) 评论(0) 推荐(0) 编辑
摘要: [论文翻译]Practical Diversified Recommendations on YouTube with Determinantal Point Processes 阅读全文
posted @ 2020-01-15 17:06 混沌战神阿瑞斯 阅读(1857) 评论(1) 推荐(0) 编辑
摘要: [TOC] 常见符号 复杂度函数 1. 大 $O$ 符号:当且仅当存在正实数 $M$ 和实数 $x_0$ ,使得 $\forall x\geq x_0,\ |f(x)|\leq M|g(x)|$ ,我们就可以认为, $f(x)=O(g(x))$ 。 2. 大 $\Omega$ 符号:当且仅当存在正实 阅读全文
posted @ 2019-11-08 09:31 混沌战神阿瑞斯 阅读(724) 评论(0) 推荐(0) 编辑
摘要: [TOC] JDK 初步 ArrayList 底层就是一个Object数组,初始容量为10,每当元素要超过容量时,重新创建一个更大的数组,并把原数据拷到新数组中来。 ArrayList实现了可变大小的数组。它允许所有元素,包括null。ArrayList没有同步。 size,isEmpty,get, 阅读全文
posted @ 2019-11-08 09:30 混沌战神阿瑞斯 阅读(485) 评论(0) 推荐(0) 编辑
摘要: 强化学习基本要素 马尔科夫决策过程 策略学习(Policy Learning) 时序差分方法(TD method) Q-Learning算法 Actor-Critic方法 DQN DDPG 推荐系统强化学习建模 附录 阅读全文
posted @ 2019-10-13 11:58 混沌战神阿瑞斯 阅读(912) 评论(0) 推荐(0) 编辑
摘要: 推荐系统上线的基本条件 AB实验 功能列表 数据指标 覆盖率 AUC及gAUC 指标展示 指标监控 人工评测 附录 阅读全文
posted @ 2019-10-13 11:57 混沌战神阿瑞斯 阅读(1028) 评论(0) 推荐(1) 编辑
摘要: 应用场景:加权采样,即按照随机事件出现的概率抽样 具体算法: 举例如上,随机事件出现的概率依次是1/2,1/3,1/12,1/12;记随机事件的个数为N,则所有事件概率乘以N后概率为2,4/3,1/3,1/3; 记队列small,large分别存放小于1和大于1的事件下标(例子中small=[0,1 阅读全文
posted @ 2019-09-28 10:34 混沌战神阿瑞斯 阅读(1616) 评论(0) 推荐(0) 编辑
摘要: word2vec 负采样 目标函数 反向梯度 层次softmax NPLM的目标函数和反向梯度 目标函数 反向梯度 GNN(图神经网络) deepwalk node2vec 附录 阅读全文
posted @ 2019-09-28 10:19 混沌战神阿瑞斯 阅读(663) 评论(0) 推荐(1) 编辑
摘要: 缓存 缓存穿透 缓存雪崩(缓存失效) 缓存击穿(热点key) 缓存并发竞争(并发set) 数据一致性 缓存(双写)一致性 Redis集群(Redis-cluster)一致性原理 哨兵(Sentinel)模式 Redis集群产生的背景 Redis-cluster特点 分布式一致性hash(Consistent hashing) 阅读全文
posted @ 2019-09-28 10:09 混沌战神阿瑞斯 阅读(2593) 评论(0) 推荐(0) 编辑
摘要: 1.窗口函数 1.LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 2.LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 3.FIRST_VALUE(col,false) 用于统计窗口内截止到当前行,第一个出现的值 4.LAST_VALUE(col,false) 用于统计窗口内截止到当前行,最后一个出现的值 5.over子句中的partition by和order by 6.over子句中的window子句(clause) 2.分析函数 1.标准聚合函数 2.RANK 3.DENSE_RANK 4.ROW_NUMBER 6.PERCENT_RANK 7.NTILE 3.应用场景 阅读全文
posted @ 2019-09-28 09:34 混沌战神阿瑞斯 阅读(628) 评论(0) 推荐(1) 编辑
摘要: [TOC] 数据结构 数组 "有序二维数组查找" "数组相对位置排序" "数组顺时针输出" "把数组排成最小的数" "数组中的逆序对" "扑克牌顺子" "数组中重复的数字" "构建乘积数组" 链表 "链表反向插入ArrayList" "链表倒数第k个" "反转链表" "合并有序链表" "带rando 阅读全文
posted @ 2019-08-20 11:30 混沌战神阿瑞斯 阅读(364) 评论(0) 推荐(0) 编辑
摘要: # 综述 # 第一步,搞定特征和样本 # 第二步,自定义深度模型的数据输入函数 # 第三步,自定义神经网络结构 # 第四步,实现loss_fn # 第五步,实现model_fn,返回EstimatorSpec用于模型训练与预测 # 第六步,输出用户向量和topk索引 阅读全文
posted @ 2019-07-09 10:21 混沌战神阿瑞斯 阅读(1167) 评论(2) 推荐(1) 编辑
摘要: 1.基础概念 2.Tensor 3.Operation 4.Graph 5.Session 附录 阅读全文
posted @ 2019-06-21 17:24 混沌战神阿瑞斯 阅读(871) 评论(0) 推荐(0) 编辑
摘要: 1.简述 2.实践 3.扩展 4.附录 阅读全文
posted @ 2019-06-20 23:46 混沌战神阿瑞斯 阅读(987) 评论(0) 推荐(0) 编辑
摘要: ## 召回层 - 召回池 - 分类 - 全局类 - 热榜类 - 运营编辑 - 置顶类 - 协同类 - 基于物品 - 基于用户 - embedding - 标签类 - 用户标签 - 物品标签 - 人工打标 - 机器打标 - 关系挖掘 - 通讯录关系 - 关注关系 - 二度关系 - 互动关系 - 文本类 - 命名实体识别 - 人名 - 地名 - 机构名 - 领域词汇 - 关键词 - 文本相似 - 文本去重 - BERT - 视觉类 阅读全文
posted @ 2019-05-25 13:52 混沌战神阿瑞斯 阅读(434) 评论(0) 推荐(0) 编辑
摘要: ### MMoE模型(Multi-gate Mixture-of-Experts) ### FGCNN模型(Feature Generation by Convolutional Neural Network) 阅读全文
posted @ 2019-05-08 08:08 混沌战神阿瑞斯 阅读(2061) 评论(0) 推荐(0) 编辑
摘要: ### 算法要点与推导 阅读全文
posted @ 2019-04-28 10:28 混沌战神阿瑞斯 阅读(743) 评论(0) 推荐(0) 编辑
摘要: ### AFM模型(Attentional Factorization Machine) ### FwFM模型(Field-weighted Factorization Machines) ### xDeepFM(极深因子分解机模型) 阅读全文
posted @ 2019-04-08 09:23 混沌战神阿瑞斯 阅读(1167) 评论(0) 推荐(1) 编辑
摘要: ### 1.算法概述 ### 2.算法要点与推导 ### 3.算法特性及优缺点 ### 4.实现和具体例子 阅读全文
posted @ 2019-04-07 23:31 混沌战神阿瑞斯 阅读(7608) 评论(0) 推荐(0) 编辑
摘要: 使用时发现:1.datediff可以传入timestamp类型参数 官网文档: Date Functions The following built-in date functions are supported in Hive: Return Type Name(Signature) Descri 阅读全文
posted @ 2019-03-01 16:45 混沌战神阿瑞斯 阅读(1645) 评论(0) 推荐(0) 编辑
摘要: 1.grouping sets 2.GROUPING__ID 3.WITH CUBE 4.WITH ROLLUP 阅读全文
posted @ 2019-02-28 16:50 混沌战神阿瑞斯 阅读(2930) 评论(0) 推荐(0) 编辑
摘要: ##### 上车准备 ##### 行车时技巧 ##### 考场注意 ##### 考试项目详细步骤 阅读全文
posted @ 2018-08-24 17:07 混沌战神阿瑞斯 阅读(630) 评论(1) 推荐(0) 编辑
摘要: #### 目录结构 - 模型原始论文 - 模型架构 - 模型原理 - 模型特点 - 模型案例 阅读全文
posted @ 2018-06-17 23:12 混沌战神阿瑞斯 阅读(1469) 评论(0) 推荐(0) 编辑
摘要: 初识启发式算法 贪婪算法,局部搜索,遗传算法,模拟退火算法,人工神经网络,禁忌搜索,演化算法, 蚁群算法,拟人拟物算法,量子算法 实现 阅读全文
posted @ 2018-05-27 20:48 混沌战神阿瑞斯 阅读(1947) 评论(0) 推荐(1) 编辑
摘要: linux部分 HADOOP部分 阅读全文
posted @ 2018-05-27 15:07 混沌战神阿瑞斯 阅读(791) 评论(0) 推荐(0) 编辑
摘要: 1.算法概述   2.算法要点与推导   3.算法特性及优缺点   4.注意事项   5.实现和具体例子   6.适用场合 阅读全文
posted @ 2018-05-08 17:07 混沌战神阿瑞斯 阅读(11125) 评论(0) 推荐(0) 编辑
摘要: 1.算法概述   2.算法要点与推导   3.算法特性及优缺点   4.注意事项   5.实现和具体例子   6.适用场合 阅读全文
posted @ 2018-04-18 19:09 混沌战神阿瑞斯 阅读(3355) 评论(0) 推荐(1) 编辑
摘要: 摘要:   1.算法概述   2.算法推导   3.算法特性及优缺点   4.注意事项   5.实现和具体例子   6.适用场合 阅读全文
posted @ 2018-04-17 07:51 混沌战神阿瑞斯 阅读(2013) 评论(0) 推荐(0) 编辑
摘要: 摘要:   1.概述   2.激活函数与导数   3.激活函数对比 阅读全文
posted @ 2018-04-13 07:53 混沌战神阿瑞斯 阅读(1243) 评论(0) 推荐(0) 编辑
摘要: 代码学习 阅读全文
posted @ 2018-04-06 20:41 混沌战神阿瑞斯 阅读(291) 评论(0) 推荐(0) 编辑
摘要: 1.代码例子 阅读全文
posted @ 2018-04-06 14:22 混沌战神阿瑞斯 阅读(491) 评论(0) 推荐(0) 编辑
摘要: 1.代码例子 2.主要功能 阅读全文
posted @ 2018-04-06 14:14 混沌战神阿瑞斯 阅读(1499) 评论(0) 推荐(0) 编辑
摘要: 摘要:   1.算法概述   2.算法要点与推导   3.算法特性及优缺点   4.注意事项   5.实现和具体例子   6.适用场合 阅读全文
posted @ 2018-04-05 14:21 混沌战神阿瑞斯 阅读(1536) 评论(0) 推荐(0) 编辑
摘要: 摘要:   1.算法概述   2.算法要点与推导   3.算法特性及优缺点   4.注意事项   5.实现和具体例子   6.适用场合 阅读全文
posted @ 2018-04-05 10:58 混沌战神阿瑞斯 阅读(1489) 评论(0) 推荐(0) 编辑