摘要:一、前言 在与第三方系统做接口对接时,往往需要考虑接口的安全性问题,本文主要分享几个常见的系统之间做接口对接时的认证方案。 二、认证方案 例如订单下单后通过 延时任务 对接 物流系统 这种 异步 的场景,都是属于系统与系统之间的相互交互,不存在用户操作;所以认证时需要的不是用户凭证而是系统凭证,通常 阅读全文
posted @ 2021-07-02 08:34 zlt2000 阅读(678) 评论(0) 推荐(2) 编辑
摘要:一、前言 IntelliJ IDEA 一直是我非常喜欢的 IDE 自从用上之后就回不了头了,但是 Ultimate 版本的费用十分昂贵,其实 JetBrains 自己就提供了6种免费申请授权的方式;本文主要介绍 通过开源项目免费申请 这种方式。 我使用的项目为:https://github.com/ 阅读全文
posted @ 2021-04-12 09:19 zlt2000 阅读(563) 评论(0) 推荐(0) 编辑
摘要:一、前言 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS);目前我们使用CH作为实时数仓用于统计分析,在做性能优化的时候使用了 物化视图 这一特性作为优化手段,本文主要分享物化视图的特性与如何使用它来优化ClickHouse的查询性能。 二、概念 数据库中的 视图( 阅读全文
posted @ 2021-04-07 08:58 zlt2000 阅读(839) 评论(0) 推荐(3) 编辑
摘要:一、前言 Canal 是阿里的一款开源项目,纯 Java 开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了 MySQL(也支持 mariaDB)。 Canal 除了支持 binlog 实时 增量同步 数据库之外也支持 全量同步 ,本文主要分享使用Canal来实现从MySQL到El 阅读全文
posted @ 2021-03-29 09:40 zlt2000 阅读(671) 评论(2) 推荐(0) 编辑
摘要:canal是阿里的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL 阅读全文
posted @ 2021-03-25 14:18 zlt2000 阅读(467) 评论(0) 推荐(2) 编辑
摘要:一、前言 程序访问 MySQL 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。 其实在 MySQL 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普 阅读全文
posted @ 2021-01-04 09:33 zlt2000 阅读(867) 评论(0) 推荐(0) 编辑
摘要:一、前言 在 Elasticsearch 的日常中,有很多如存储 系统日志、行为数据等方面的应用场景,这些场景的特点是数据量非常大,并且随着时间的增长 索引 的数量也会持续增长,然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用(热数据),而历史数据几乎没有作用或者很少会被使用(冷数 阅读全文
posted @ 2020-12-30 08:42 zlt2000 阅读(798) 评论(0) 推荐(3) 编辑
摘要:一、前言 日志分析是目前重要的系统调试和问题排查的重要手段之一,而目前分布式系统由于实例和机器众多,所以构建一套统一日志系统是非常必要的;ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前的主流选择之一。 本文主要介绍如何实现一套 ELK日志 阅读全文
posted @ 2020-12-07 08:57 zlt2000 阅读(577) 评论(0) 推荐(1) 编辑
摘要:一、前言 开发排查系统问题用得最多的手段就是查看系统日志,ELK 是 Elastic 公司开源的实时日志处理与分析解决方案,已经为日志处理方案的主流选择。 而在生产环境中,如何针对 ELK 进行监控,保证各个组件正常运行?如何知道目前的资源是否能承受线上的压力呢?本文主要是以 Elastic Sta 阅读全文
posted @ 2020-11-30 09:28 zlt2000 阅读(492) 评论(0) 推荐(0) 编辑
摘要:一、目的 开发排查系统问题用得最多的手段就是查看系统日志,但是在分布式环境下使用日志定位问题还是比较麻烦,需要借助 全链路追踪ID 把上下文串联起来,本文主要分享基于 Spring Boot + Dubbo 框架下 日志链路追踪ID 的实现方案选型思路。 目前大多数分布式追踪系统的思想模型都来自 G 阅读全文
posted @ 2020-09-27 08:59 zlt2000 阅读(596) 评论(0) 推荐(0) 编辑