会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
gabry.wu
博客园
首页
新随笔
管理
[置顶]
【翻译】- EffectiveAkka-第一章
摘要: EffectiveAkka-第一章的翻译。仅供学习参考,勿作他用。有翻译不正确的地方,请留言指正
阅读全文
posted @ 2018-03-01 10:09 gabry.wu
阅读(572)
评论(0)
推荐(0)
2020年2月28日
DolphinScheduler1.2.1源码分析
摘要: DolphinScheduler在2020年2月24日发布了新版本1.2.1,从版本号就可以看出,这是一个小版本。主要涉及BUG修复、功能增强、新特性三个方面,我们会根据其发布内容,做简要的源码分析。 由于涉及内容较多,前端功能不再分析。 Worker Server日志脱敏 主要是对日志中的密码进行
阅读全文
posted @ 2020-02-28 18:00 gabry.wu
阅读(1278)
评论(0)
推荐(0)
2020年1月20日
DolphinScheduler源码分析之任务日志
摘要: DolphinScheduler源码分析之任务日志 任务日志打印在调度系统中算是一个比较重要的功能,下面就简要分析一下其打印的逻辑和前端页面查询的流程。 AbstractTask 所有的任务都会继承AbstractTask,这个抽象类有一个比较重要的字段就是logger,其实也就是一个org.slf
阅读全文
posted @ 2020-01-20 14:47 gabry.wu
阅读(6401)
评论(0)
推荐(0)
2020年1月7日
DolphinScheduler源码分析
摘要: DolphinScheduler源码分析 本博客是基于1.2.0版本进行分析,与最新版本的实现有一些出入,还请读者辩证的看待本源码分析。具体细节可能描述的不是很准确,仅供参考 源码版本 1.2.0 技术框架 所有模块均采用比较流行的SprintBoot框架 架构图 重要概念 流程定义 在Dolphi
阅读全文
posted @ 2020-01-07 16:33 gabry.wu
阅读(13395)
评论(5)
推荐(3)
2019年12月26日
一次线上nohup.out日志丢失的问题
摘要: 今天有小伙伴求助,线上一个应用的nohup.out日志不更新了,但进程还是正常的。此时需要查看这个日志排查一些问题,这可怎么办呢? nohup.out文件的更新时间停留在了昨天9点36,日志也刚好打到这个时间点。 但后面的日志去哪里了呢?这个问题就优点难办了,原因可能很多。比如不小心把文件删除了,或
阅读全文
posted @ 2019-12-26 11:40 gabry.wu
阅读(2146)
评论(4)
推荐(0)
“准实时数仓”设计方案
摘要: 目前的数仓大概分为离线数仓和实时数仓。离线数仓一般是T+1的数据ETL方案;实时数仓一般是分钟级别甚至更短的时间内的ETL方案。实时数仓一般是将上游业务库的数据通过binlog等形式,实时抽取到Kafka,进行实时ETL。但目前主流的实时数仓也会细分为两类,一类是标准的实时数仓,所有的ETL过程都通
阅读全文
posted @ 2019-12-26 09:33 gabry.wu
阅读(3819)
评论(0)
推荐(0)
2019年10月23日
akka设计模式系列-消息模型(续)
摘要: 在之前的akka设计模式系列-消息模型中,我们介绍了akka的消息设计方案,但随着实践的深入,发现了一些问题,这里重新梳理一下设计方法,避免之前的错误、不当的观点给大家带来误解。
阅读全文
posted @ 2019-10-23 16:21 gabry.wu
阅读(519)
评论(0)
推荐(0)
2019年8月6日
国内CDH的MAVEN代理
摘要: 在编译CDH版本的各个开源软件时,需要从cdh-repo下载对应的jar包,但发现下载速度非常慢,甚至有时候出现下载异常的情况。 下面是国内可用的、速度非常快的一个maven代理仓库,亲测可用: https://repo.rdc.aliyun.com/repository/82963-release
阅读全文
posted @ 2019-08-06 21:20 gabry.wu
阅读(994)
评论(2)
推荐(0)
2019年6月10日
如何管理第三方接口token过期时间
摘要: 背景: 随着微服务的盛行,做开发时不可避免的要涉及第三方接口,安全起见,这些接口都会需要一个token参数。而token一般都会有一个过期时间,比如2小时或者30分钟。那么如何在自己的应用中存储并管理这些token呢? 常见方案: 内存缓存;第三方缓存 我们一般都会给每个第三方设置一个过期时间参数,
阅读全文
posted @ 2019-06-10 16:27 gabry.wu
阅读(4183)
评论(0)
推荐(0)
2019年6月6日
Phoenix在2345公司的实践(转)
摘要: 本文介绍Phoenix在2345公司的实践,主要是实时查询平台的背景、难点、Phoenix解决的问题、Phoenix-Sql的优化以及Phoenix与实时数仓的融合思路
阅读全文
posted @ 2019-06-06 15:03 gabry.wu
阅读(659)
评论(0)
推荐(0)
2019年6月5日
MongoDB集群跨网络、跨集群同步方案
摘要: MongoDB集群跨网络、跨集群数据同步有以下几个方案,此处只是简单介绍,不过详细描述。 1、MongoDB自带的复制方案 优点:实施简单,不需要额外的技术栈 缺点:网络双向可连通。 2、CDC同步方案1 该方案在源集群部署CDC,读取源集群的oplog,将数据写入目标集群。 优点:支持异构同步,即
阅读全文
posted @ 2019-06-05 15:32 gabry.wu
阅读(1562)
评论(0)
推荐(0)
下一页
公告
点击右上角即可分享