上一页 1 2 3 4 5 6 7 8 9 10 ··· 15 下一页
摘要: 1、为什么要有Kafka? [出自 Hrq] Kafka是一个消息系统, 原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在主要用作数据管道(data pipeline)和消息系统 Kafka出现的原因: l 阅读全文
posted @ 2016-11-10 21:15 空谷幽澜 阅读(756) 评论(0) 推荐(0) 编辑
摘要: 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa con 阅读全文
posted @ 2016-11-10 21:02 空谷幽澜 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 想着要不要写,两个原因“懒”和“空”。其实懒和空也是有联系的,不是因为懒的写,而是因为对PostgreSQL和Npgsql的知识了解匮乏,也就懒得写。好了,开头就写到这里,有些绕口令的感觉。一贯以这种不靠谱的描述开头,也成为了一种习惯,既然是习惯,也还不算坏,得坚持。 其实想写PostgreSQL和 阅读全文
posted @ 2016-11-10 20:24 空谷幽澜 阅读(611) 评论(0) 推荐(0) 编辑
摘要: PostgreSQL PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为POSTGRES,版本 4.2为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整 阅读全文
posted @ 2016-11-10 20:23 空谷幽澜 阅读(8007) 评论(0) 推荐(0) 编辑
摘要: Greenplum 数据库是最先进的分布式开源数据库技术,主要用来处理大规模的数据分析任务,包括数据仓库、商务智能(OLAP)和数据挖掘等。自2015年10月正式开源以来,受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。 一. Greenplum数据库简介 大 阅读全文
posted @ 2016-11-09 19:07 空谷幽澜 阅读(7967) 评论(1) 推荐(0) 编辑
摘要: 1、下载kafka 2、解压 创建软连接 3、修改配置文件 (1)kafka配置文件 3、修改配置文件 (1)kafka配置文件 (2)zookeeper配置 具体解释请参考:http://nanchengru.com/2015/04/zookeeper%E5%AE%89%E8%A3%85%E9%8 阅读全文
posted @ 2016-11-09 15:14 空谷幽澜 阅读(398) 评论(0) 推荐(0) 编辑
摘要: 1. 摘要: 2. 设计概要: 2.1 流程概要: tracker 每分钟记录位点: 1. 每分中固定时间记录确认的checkpoint位点(可能有重复,长时间没有数据fetch重复最多) 2.2 架构 3. mysql 相关 3.1 mysql 通讯协议 3.1.1 mysql数据包 如果客户端要 阅读全文
posted @ 2016-11-09 15:11 空谷幽澜 阅读(18986) 评论(1) 推荐(2) 编辑
摘要: 一.Mysql Binlog格式介绍 Mysql binlog日志有三种格式,分别为Statement,MiXED,以及ROW! 1.Statement:每一条会修改数据的sql都会记录在binlog中。 优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节 阅读全文
posted @ 2016-11-09 13:18 空谷幽澜 阅读(4824) 评论(0) 推荐(0) 编辑
摘要: Ehcache在java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性(基于java开发)、被认证(具有apache 2.0 license)、充满特色(稍后会详细介绍),所以被用于大型复杂分布式web appl 阅读全文
posted @ 2016-11-07 14:54 空谷幽澜 阅读(602) 评论(0) 推荐(0) 编辑
摘要: Solr与ES(ElasticSearch)对比 Solr与ES(ElasticSearch)对比 搜索引擎选择: Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去 阅读全文
posted @ 2016-11-05 18:07 空谷幽澜 阅读(32465) 评论(0) 推荐(2) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 15 下一页