gabry.wu

摘要： DolphinScheduler在2020年2月24日发布了新版本1.2.1，从版本号就可以看出，这是一个小版本。主要涉及BUG修复、功能增强、新特性三个方面，我们会根据其发布内容，做简要的源码分析。 由于涉及内容较多，前端功能不再分析。 Worker Server日志脱敏 主要是对日志中的密码进行 阅读全文

摘要： DolphinScheduler源码分析之任务日志 任务日志打印在调度系统中算是一个比较重要的功能，下面就简要分析一下其打印的逻辑和前端页面查询的流程。 AbstractTask 所有的任务都会继承AbstractTask，这个抽象类有一个比较重要的字段就是logger，其实也就是一个org.slf 阅读全文

摘要： DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析，与最新版本的实现有一些出入，还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确，仅供参考 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要概念 流程定义 在Dolphi 阅读全文

摘要： 今天有小伙伴求助，线上一个应用的nohup.out日志不更新了，但进程还是正常的。此时需要查看这个日志排查一些问题，这可怎么办呢？ nohup.out文件的更新时间停留在了昨天9点36，日志也刚好打到这个时间点。 但后面的日志去哪里了呢？这个问题就优点难办了，原因可能很多。比如不小心把文件删除了，或 阅读全文

摘要： 目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案；实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据通过binlog等形式，实时抽取到Kafka，进行实时ETL。但目前主流的实时数仓也会细分为两类，一类是标准的实时数仓，所有的ETL过程都通 阅读全文

摘要： 在之前的akka设计模式系列-消息模型中，我们介绍了akka的消息设计方案，但随着实践的深入，发现了一些问题，这里重新梳理一下设计方法，避免之前的错误、不当的观点给大家带来误解。 阅读全文

摘要： 在编译CDH版本的各个开源软件时，需要从cdh-repo下载对应的jar包，但发现下载速度非常慢，甚至有时候出现下载异常的情况。 下面是国内可用的、速度非常快的一个maven代理仓库，亲测可用： https://repo.rdc.aliyun.com/repository/82963-release 阅读全文

摘要： 背景： 随着微服务的盛行，做开发时不可避免的要涉及第三方接口，安全起见，这些接口都会需要一个token参数。而token一般都会有一个过期时间，比如2小时或者30分钟。那么如何在自己的应用中存储并管理这些token呢？ 常见方案： 内存缓存；第三方缓存 我们一般都会给每个第三方设置一个过期时间参数， 阅读全文

摘要： 本文介绍Phoenix在2345公司的实践，主要是实时查询平台的背景、难点、Phoenix解决的问题、Phoenix-Sql的优化以及Phoenix与实时数仓的融合思路 阅读全文

摘要： MongoDB集群跨网络、跨集群数据同步有以下几个方案，此处只是简单介绍，不过详细描述。 1、MongoDB自带的复制方案 优点：实施简单，不需要额外的技术栈 缺点：网络双向可连通。 2、CDC同步方案1 该方案在源集群部署CDC，读取源集群的oplog，将数据写入目标集群。 优点：支持异构同步，即 阅读全文