Paualf

摘要： 先WITH 后 insert overwrite WITH mapper AS ( ) INSERT OVERWRITE TABLE SELECT a,b,c from mapper 先insert overwrite 后 with INSERT OVERWRITE TABLE WITH mappe 阅读全文

摘要： 可维护性，错误感知 长期运行的系统或者重要的任务，如果出错了，怎么知道 一定要加告警 提升排查效率 2.1： 内部系统如果是查询SQL 相关的，接口中可以将 SQL 返回，排查问题的时候直接运行 2.2: 链路日志 复杂问题拆解 复杂的问题往往都是思考的思考想太多导致的，怎么分析拆解成一个一个组件和 阅读全文

摘要： DB和缓存为什么会出现不一致： 场景：读请求 + 写请求并发 A：第一步：线程查询缓存，没命中 A：第二步：线程去 DB 查询，拿到旧数据 B 第三步：线程更新 DB，变成新数据 B 第四步：线程回写缓存 A 第五步：线程把旧数据写回缓存 读请求比写请求慢，两个事件之间没有办法满足 Happens 阅读全文

摘要： B端C端进行分离： 单场景业务应用表：业务表进行分离 对于B端系统来说，如发钱系统，B端需要存储 订单id、是否发放成功、通知状态等信息，有可能还会有发放失败，审核驳回等无用数据记录，但是对于C端用户界面来说往往比较简单、可能就是需要 用户、时间、金钱等信息，数据量少的时候在一张数据表存储是可以的， 阅读全文

摘要： 背景：从 索引文件 读取信息然后写入到 grpc proto 序列化的 C++ 结构中，然后构建dnf 定向过滤需要 每个unit_id 对应的定向信息，构建 unit_id 对应 roaring::Roaring 位图，后续用作定向匹配 遇到问题： 发现从索引读取出来以后，写入定向信息的时候发现读 阅读全文

摘要： ### 降级： 减少工作量，丢弃不重要的请求。 确定具体采用哪个指标作为流量评估和优雅降级的决定性指标： 如 CPU、延迟、队列长度、线程数量、错误等 当服务进入降级时，需要执行什么动作？ 流量抛弃或者优雅降级应该在服务的哪一层实现？是否需要在整个服务的每一层都实现，还是可以选择某个高层面的关键节点 阅读全文

摘要： ## 过载保护 ### 令牌桶算法 存放固定容量令牌的桶，按照固定速率往桶里添加令牌 https://pkg.go.dev/golang.org/x/time/rate ### 漏桶算法 作为计量工具(The Leaky Bucket Algorithm as a Meter)时，可以用于流量整形( 阅读全文

摘要： ## 隔离 本质上是对系统和资源进行分割，从而实现当系统故障时能限定传播范围和影响范围，即发生故障后只有出问题的服务不可用，保证其他服务仍然可用。 ### 服务隔离 #### 动静隔离 mysql 表中的bufferpool 频繁过期，隔离动静表。如 稿件的基本信息，作者、封面等和稿件的播放、点赞 阅读全文

摘要： ### 现象 某一个周末我们的服务 oom了，一个比较重要的job 没有跑完，需要重跑，以为是偶然，重跑成功，因为是周末没有去定位原因 又一个工作日，它又oom了，重跑成功，持续观察，job 在oom之前竟然占用了30g左右(这里我们的任务比较大的数据量都在内存中计算，所以这里机器内存量大一点） 应 阅读全文

摘要： 整洁的代码只做好一件事： 每个函数、每个类和每个模块都全身神贯注于一件事。 这里结合自己之前代码设计和处理的时候想一下子把整体都思考完全，无论是思维还是代码设计都不是好的方法。 ### 方法 减少重复代码 提供表达力 提早构建简单抽象 ### 有意义的命名 ### 函数 函数应该做一件事，做好这件事 阅读全文