摘要:全文目录 原文 If you can't measure it, you can't improve it. -- 现代管理学大师彼得·德鲁克 评测与监控的概念和意义 推荐系统, 算法驱动型应用系统, 不能通过功能测试来判断, 需要根据各种维度效果来判断; 为了不断全面提升推荐系统的效果; 推荐系统 阅读全文
posted @ 2021-03-13 17:06 Memento 阅读(13) 评论(0) 推荐(0) 编辑
摘要:第一行, 任务队列信息 同 uptime 命令执行结果 # uptime 10:49am up 45 days 0:05, 6 users, load average: 7.57, 6.72, 6.10 值 说明 10:49am 当前时间 up 45 days 0:05 系统运行时间, 时:分 6 阅读全文
posted @ 2021-03-09 21:33 Memento 阅读(6) 评论(0) 推荐(0) 编辑
摘要:原文 1.1. 开启 MySQL 的 binlog 日志 修改 my.cnf 或 my.ini(windows), 添加配置项: # binlog 日志存放路径 log-bin=D:\env\mysql-5.7.28-winx64\binlog # 日志中记录每一行数据被修改的形式 binlog-f 阅读全文
posted @ 2021-03-08 09:13 Memento 阅读(180) 评论(0) 推荐(1) 编辑
摘要:全文目录 原文 用户画像的概念和作用 字面上, 用户画像核心作用是对系统的用户进行多维度的信息刻画; 深层次, 通过对用户多维度的刻画, 将不同的用户映射到产品所提供的不同服务上, 或映射到同一服务的不同具体形态上; 推荐系统的用户画像取上图中可以将用户和系统中物品连接起来的格子; 基于算法二次加工 阅读全文
posted @ 2021-03-07 15:22 Memento 阅读(13) 评论(0) 推荐(0) 编辑
摘要:原文 1. 背景 shard allocation 意思是分片分配, 是一个将分片分配到节点的过程; 可能发生该操作的过程包括: 初始恢复(initial recovery) 副本分配(replica allocation) 重新平衡(rebalance) 节点的新增和删除 来源 分片的分配操作, 阅读全文
posted @ 2021-03-07 11:33 Memento 阅读(113) 评论(0) 推荐(1) 编辑
摘要:原文 环境背景, Kibana 7.4.0, Elasticsearch 7.4.0 注意, 执行以下命令时, 尽量在管理员权限的命令行窗口里执行, 避免一些没有权限的报错; 1. 准备 Kibana 源码 git clone https://github.com/elastic/kibana.gi 阅读全文
posted @ 2021-03-06 17:02 Memento 阅读(23) 评论(0) 推荐(0) 编辑
摘要:原文 1. 背景 在 jstack 的内容中可以看到以下的 MySQL Statement Cancellation Timer 守护线程, 在业务高峰期的时候会出现大量的这类守护线程, 由此追溯该线程的生命周期过程; "MySQL Statement Cancellation Timer" #20 阅读全文
posted @ 2021-03-05 18:55 Memento 阅读(85) 评论(0) 推荐(1) 编辑
摘要:原文 全文目录 机器学习技术的实施方法 预测阶段效果监控 离线预测+在线预测 监控点击率的稳定性 真实点击率的稳定性 计算相邻两个区间内点击率分布的 PSI(Population Stability Index, 群体稳定性指标), 小于 0.1 可认为数据相对稳定; 预测点击率的稳定性 与系统本身 阅读全文
posted @ 2021-03-05 12:21 Memento 阅读(12) 评论(0) 推荐(0) 编辑
摘要:原文 全文目录 机器学习技术的实施方法 特征处理 特征工程的重要性 需要同时掌握理论方法和业务逻辑才能提取有效的特征; 在特征方面拥有最大的自主性和探索性; 指征能力, 该特征的大小变化对最终结果的大小变化会在什么方向起到多大的作用; 用户ID类特征 ID特征, 指为每个用户分配一个唯一ID, 将这 阅读全文
posted @ 2021-03-05 12:19 Memento 阅读(9) 评论(0) 推荐(0) 编辑
摘要:原文 全文目录 机器学习技术概述 让计算机在没有被显示编程的情况下具有自主学习的能力; 学习出特征和目标之间具体的相关性; 学习结果的用法: 预测, 推断(inference); 推荐系统中的应用场景 推荐系统的本质是匹配; 推荐结果排序 传统的方式是利用公式来定义排序规则, 机器学习是选择具有良好 阅读全文
posted @ 2021-03-05 12:18 Memento 阅读(8) 评论(0) 推荐(0) 编辑
摘要:原文 全文目录 关联规则算法, 由于限制较大, 所以相关性较强, 但覆盖率较低; 协同过滤算法, 覆盖率更高, 相关性较差; 以上两者基于行为, 有冷启动问题, 所以需要内容相关性算法来托底; 三种算法的融合得出最终的结果; 数据血统: 对数据的来源进行记录与分析的相关数据和过程; 线性加权融合 \ 阅读全文
posted @ 2021-03-05 12:17 Memento 阅读(8) 评论(0) 推荐(0) 编辑
摘要:原文 全文目录 相关性召回+点击率排序 推荐逻辑流程架构 根本任务: 匹配 匹配过程步骤: 相关性召回, 对用户做360度全方位扫描, 尽量多的描述和覆盖用户可能感兴趣的高质量的物品; 候选集融合, 重点关注多样性和相关性的均衡, 召回算法的优先级等问题; 结果排序, 按照某一确定目标进行排序; 业 阅读全文
posted @ 2021-03-05 12:16 Memento 阅读(10) 评论(0) 推荐(0) 编辑
摘要:原文 全文目录 多组件, 多模块, 多数据源构成; 涉及用户, 物品, 行为, 上下文等数据; 计算形式包括大数据平台上的批量计算/挖掘/训练, 流式数据的实时处理, 线上的实时服务; 核心逻辑拆解 核心目的: 为用户找当前场景下最具相关性的物品或物品集合; 以用户兴趣为轴: \[ P(item|u 阅读全文
posted @ 2021-03-05 12:13 Memento 阅读(4) 评论(0) 推荐(0) 编辑
摘要:声明, 本文仅作为读书笔记目录整理使用. 原文 目录 第 1 章 推荐系统的时代背景 2021年3月5日 第 2 章 推荐系统的核心技术概述 2021年2月20日 第 3 章 基础推荐算法 2021年2月22日 第 4 章 算法融合与数据血统 2021年2月23日 第 5 章 机器学习技术的应用 上 阅读全文
posted @ 2021-03-05 09:27 Memento 阅读(8) 评论(0) 推荐(0) 编辑
摘要:全文目录 原文 推荐系统存在必要性 流量利用 流量的四个特点: 稀缺性, 在流量红利退去之后, 部分市场近似零和游戏, 获取流量成本不断增加; 不确定性, 引入用户后如何判断用户来到该网站的意图, 以便进一步针对性的营销活动, 满足用户需求并提高用户体验; 差异性, 基于用户个性, 所处情境不同; 阅读全文
posted @ 2021-03-05 09:19 Memento 阅读(43) 评论(0) 推荐(0) 编辑
摘要:原文 线程状态 死锁, DeadLock, 多个线程调用间, 进入相互资源占用, 导致一直等待无法释放的情况; 执行中, Runnable, 指该线程正在执行状态中, 该线程占用了资源, 正在处理某个请求, 或者正在传递 SQL 到数据库执行, 或对某个文件操作, 或进行数据类型转换等; 等待资源, 阅读全文
posted @ 2021-03-04 09:19 Memento 阅读(211) 评论(0) 推荐(1) 编辑
摘要:bert-as-service 用 BERT 作为句子编码器, 并通过 ZeroMQ 服务托管, 只需两行代码就可以将句子映射成固定长度的向量表示; 准备 windows10 + python3.5 + tensorflow1.2.1 安装流程 安装 tensorflow, 参考 安装 bert-a 阅读全文
posted @ 2021-03-03 18:49 Memento 阅读(209) 评论(0) 推荐(0) 编辑
摘要:原文地址: Hexo + Github 个人博客设置以及优化 一、博客设置 分类、标签云、关于等页面 在站点目录下分别执行: hexo new page "categories" # 新增分类 hexo new page "tags" # 新增标签 hexo new page "about" # 新 阅读全文
posted @ 2019-03-21 09:29 Memento 阅读(550) 评论(0) 推荐(0) 编辑
摘要:一、介绍 RankLib.jar 是一个学习排名(Learning to rank)算法的库,目前已经实现了如下几种算法: + MART + RankNet + RankBoost + AdaRank + Coordinate Ascent + LambdaMART + ListNet + Rand 阅读全文
posted @ 2018-07-31 20:17 Memento 阅读(2061) 评论(0) 推荐(6) 编辑
摘要:解决 SBT 初始化或下载 jar 包速度慢的问题 阅读全文
posted @ 2018-06-07 21:55 Memento 阅读(920) 评论(0) 推荐(0) 编辑