坐而论道，起而行之

摘要： 背景 需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下： 首次清洗历史所有数据 后续每次取增量数据和上次清洗结果做合并 问题 1、如何判断为首次任务，实现方案： 方案1:判断指定目录下是否存在数据文件 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗 2、增 阅读全文

摘要： 背景 需要创建数据全字段索引，因此把带检索数据列以内嵌文档的方式写入，在内嵌文档上加索引，加速查询 方案1：内嵌文档上加索引 数据存储格式如下： { "_id" : "AB16105869340072961", "info" : { "payment_bank_code" : "BRI", "ord 阅读全文

摘要： 背景 数据列不固定，每次全量覆盖数据到Mysql，涉及到数据表结构的变更，需要调整自动创建数据表结构 方案1：DataFrameWriter.jdbc 使用spark原生提供的DataFrameWriter.jdbc，参考代码如下： /** * 数据覆盖写入指定mysql表 * 批量读写参数设置参考 阅读全文

摘要： 问题 使用pyppeteer爬取数据时，goto指定页面报错pyppeteer.errors.PageError: net::ERR_CERT_AUTHORITY_INVALID，通过抓包请求过程如下： 当前请求被重定向了，切换到https请求，因此需要走TLS协议，但是Client hello后没 阅读全文

摘要： 间隙锁加锁分析 以下案例均基于以下表及数据 CREATE TABLE `t` ( `id` int(11) NOT NULL, `c` int(11) DEFAULT NULL, `d` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY `c` (`c`) 阅读全文

摘要： 可见性分析 CREATE TABLE `t` ( `id` int(11) NOT NULL, `k` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB; insert into t(id, k) values(1,1),(2,2); 阅读全文

摘要： Index Nested-Loop Join(NLJ) 从驱动表上逐行读取数据，在被驱动表上通过索引匹配数据，假设驱动表N表数据，被驱动表M条数据 Index Nested-Loop Join Batched Key Access(BKA，NLJ算法的优化) NLJ算法，每条数据都需要被驱动表两个索 阅读全文

摘要： callback执行异常处理 如果Request请求成功后，在解析文本时异常，如下所示： def parse_details(self, response): ... item['metres'] = round(float( response.xpath('/html/body/section[1 阅读全文

摘要： 全局锁 全局锁就是对整个数据库实例加锁。MySQL 提供了一个加全局读锁的方法FTWRL Flush tables with read lock 全局锁的典型使用场景是，做全库逻辑备份，也就是把整库每个表都 select 出来存成文本。在备份过程中整个库完全处于只读状态，存在以下问题： 如果你在主库 阅读全文

摘要： 算法分类 十大经典排序算法（动图演示） 算法实践 package learning.sort; import java.lang.reflect.Method; import java.util.*; /** * 排序算法集合 * 交换排序：冒泡排序、快速排序、三路切分快速排序 * 选择排序：简单选 阅读全文