摘要：公司的binlog消息通知，基于canal采集然后转发到rocketmq推送给业务进行消费。 基于此机制，为了实现实时计算通用源端处理，订阅了若干rocketmq的topic进行数据的幂等事务性投递到实时计算的消息队列。 订阅了之后，进程在线上运行几分钟之后就OOM了，于是按如下步骤分析原因： jm 阅读全文

摘要：最近开始折腾数据，起源是多业务数据源需要转换到数据分析平台。这个过程需要跨机器，跨库。同时还需要将业务数据表的内容进行转换，合并，清洗等等操作。经过多方选型，最终决定使用kettle来作为数据抽取处理的工具。但是，在这里，是想吐槽下kettle这东西的问题。1.kettle的版本使用的是5.1，搭建... 阅读全文