摘要: Greenplum 数据库是最先进的分布式开源数据库技术,主要用来处理大规模的数据分析任务,包括数据仓库、商务智能(OLAP)和数据挖掘等。自2015年10月正式开源以来,受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。 一. Greenplum数据库简介 大 阅读全文
posted @ 2016-11-09 19:07 空谷幽澜 阅读(7983) 评论(1) 推荐(0) 编辑
摘要: 1、下载kafka 2、解压 创建软连接 3、修改配置文件 (1)kafka配置文件 3、修改配置文件 (1)kafka配置文件 (2)zookeeper配置 具体解释请参考:http://nanchengru.com/2015/04/zookeeper%E5%AE%89%E8%A3%85%E9%8 阅读全文
posted @ 2016-11-09 15:14 空谷幽澜 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 1. 摘要: 2. 设计概要: 2.1 流程概要: tracker 每分钟记录位点: 1. 每分中固定时间记录确认的checkpoint位点(可能有重复,长时间没有数据fetch重复最多) 2.2 架构 3. mysql 相关 3.1 mysql 通讯协议 3.1.1 mysql数据包 如果客户端要 阅读全文
posted @ 2016-11-09 15:11 空谷幽澜 阅读(18997) 评论(1) 推荐(2) 编辑
摘要: 一.Mysql Binlog格式介绍 Mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW! 1.Statement:每一条会修改数据的sql都会记录在binlog中。 优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节 阅读全文
posted @ 2016-11-09 13:18 空谷幽澜 阅读(4829) 评论(0) 推荐(0) 编辑