摘要：
太忙了 阅读全文
摘要：
val conf = new SparkConf().setAppName("ProductPrivilege").setMaster("local[1]") //创建spark执行的入口 val sc = new SparkContext(conf) val session = SparkSess 阅读全文
摘要：
UserId: 396296239728094 DeviceId: 7076664539352073772 UpdateVersionCode: 20109900 Channel: local_test GitSHA: 60e8f12b5d2 FlowerSDK: 22.0.7.26 VESDK: 阅读全文
摘要：
目前毕业五年了，有一些比较零碎的想法，在这里整理一下吧 首先是工作的一些感悟 结果导向 对于同事、leader来说，你做一件事的过程远没有结果重要，很多时候大家都比较忙，只想知道你做这件事结果是什么，完成度多少 超出预期 给一个100分的目标，做到80分是不合格的，做到100分是及格，别人期望的是做 阅读全文
摘要：
select output from tablewhere date ="20220125" and get_json_object(replace(output, '.', '_'), '$.features.xxx') IS NOT NULL limit 10 阅读全文
摘要：
分布式事务 Seata(二) 理解什么是AT、TCC、Saga 分布式事务 Seata(一) 理解什么是XA 2PC、3PC 阅读全文
摘要：
github thriftpy2 import thriftpy2.protocol.json as proto def test_struct_to_json(): obj = TItem(id=13, phones=["5234", "12346456"]) json = proto.struc 阅读全文
摘要：
美团mock server mock-server 阅读全文
摘要：
问题背景 在平安的时候会经常对比多个模型的效果，也会加很多规则系数做模型排序，做推荐的时候粗排需要对多个维度进行打分， 例如 score = 模型1 * 0.5 + 模型2 * 0.3 + 模型3 * 0.2 similar = 年龄 * 0.2 + 性别 * 0.1 + 地区 * 0.5 搜索结果 阅读全文
摘要：
超长链路 对于超长链路，例如 A → B → C → D 在入口处设置超时时间，例如A 10s， A本身消耗3s就减少3s，等到C发现耗时减为0之后，就不再往下调用，减少无用计算 调用追踪 入口请求增加logId，后续所有请求都带上logid 多环境治理 每个请求带上env，基于env做多泳道流量治 阅读全文
摘要：
问题背景 线上监控发现mysql慢查询，mysql最大执行时间60s，接口p99耗时1.88s 优化记录 检查索引 show create table xxx 线上query条件比较复杂，有接近10个查询字段，主要字段都已经加索引 检查索引顺序 explain select x from x whe 阅读全文
摘要：
安装相关包 pip install pyrasite pip install guppy3 pip install mem_top 使用top查看pid 使用pyrasite连接进程 pyrasite-shell pid 通过pyrasite连接进城后，两种方式打印内存信息： from guppy 阅读全文
摘要：
安装py-spy pip install py-spy top查看python pid top 查看代码堆栈 py-spy top --pid 1780 阅读全文
摘要：
工作太忙，后续更新 20210512 阅读全文
摘要：
JMAP看内存 JStack看线程 JStat看GC JProfile分析方法 Agent动态代理实时监控线上情况 调整合适的JVM内存参数: -Xms8G -Xmx8G -Xmn2G 调整合适的VM线程参数: -Xss256K 优化Redis连接数 用CompletionService替换普通fu 阅读全文
摘要：
在公司沟通的时候，一般会涉及到请求协助、汇报等场景， 请求协助： 三要素：背景、后果、需要什么支持 举例： 背景：目前需要新上线一个功能，因为人力评估不够，可能延期 后果：该功能延期会导致项目整体进度受影响 需要什么支持：需要新增2个人力协助 汇报： STAR法则：情境(situation)、任务（ 阅读全文