摘要: 官网:http://hbase.apache.org/book.html 搜索:Hadoop version support matrix 下面有一个二维的支持关系表。 阅读全文
posted @ 2016-04-16 21:06 大墨垂杨 阅读(3041) 评论(0) 推荐(1) 编辑
摘要: 摘录自博客:http://dataunion.org/9307.html?utm_source=tuicool&utm_medium=referral 为什么要用Message Queue 解耦在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据 阅读全文
posted @ 2016-04-14 17:40 大墨垂杨 阅读(4334) 评论(0) 推荐(0) 编辑
摘要: 从16年4月5号开始学习kafka,后来由于项目需要又涉及到了storm。 经过几天的扫盲,到今天16年4月13日,磕磕碰碰的总算是写了一个kafka+storm的HelloWorld的例子。 为了达到前人栽树后人乘凉的知识共享的目的,我尝试着梳理一下过程。 实例需求 由kafka消息队列源源不断生 阅读全文
posted @ 2016-04-11 23:00 大墨垂杨 阅读(8737) 评论(6) 推荐(8) 编辑
摘要: (1)下载jar包 去网上搜索KafkaOffsetMonitor即可。 我这里共享了我的百度云连接:http://yun.baidu.com/s/1nvGjbDn 如果某一天我这个取消共享了,大家去网上随便查找一个就可以。也可以在博客上给我留言,我来继续分享。 (2)将jar包上传到Linux上 阅读全文
posted @ 2016-04-11 14:34 大墨垂杨 阅读(915) 评论(0) 推荐(0) 编辑
摘要: 刚开始使用Linux,自己构建了一个Linux虚拟机之后,在使用yum install的时候,经常是出错,提示连接不上。 一直以为是自己构建的虚拟机的问题,后来在网上查找了一些资料,才发现:需要配置本地yum源。 下面是网上的重复不断的博客,我这里也为了备忘将内容引用一下。 虚拟机中的linux有时 阅读全文
posted @ 2016-04-09 23:11 大墨垂杨 阅读(4250) 评论(0) 推荐(0) 编辑
摘要: 推荐慕课网视频:http://www.imooc.com/video/10055 另外,关于Storm并发度,已经整理到另一篇博客中,希望对读者有所帮助。 请参考:http://www.cnblogs.com/quchunhui/p/8271349.html Storm的起源。 Storm是开源的、 阅读全文
posted @ 2016-04-08 22:56 大墨垂杨 阅读(6203) 评论(0) 推荐(1) 编辑
摘要: 【时间】: 2016/4/8 17:30 【问题】: kafka执行Consumer实例的时候,发生了一下错误。 kafka配置文件server.properties如下: zookeeper配置文件zoo.cfg内容如下: consumer的实现代码如下: 其中静态类的定义如下: 共通方法的实现如 阅读全文
posted @ 2016-04-08 18:52 大墨垂杨 阅读(3032) 评论(0) 推荐(0) 编辑
摘要: Kafka消费者模型 参考博客:http://www.tuicool.com/articles/fI7J3m --分区消费模型 分区消费架构图 图中kafka集群有两台服务器(Server),每台服务器有2个分区(Patition),共4个分区。 由四个消费者实例(Consumer)来消费4个分区。 阅读全文
posted @ 2016-04-08 09:47 大墨垂杨 阅读(975) 评论(0) 推荐(0) 编辑
摘要: 慕课网视频教程:http://www.imooc.com/learn/443 Maven是什么 Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。简单的来说,Maven可以帮我们来管理项目。 下载Maven 官网:http://maven. 阅读全文
posted @ 2016-04-07 22:49 大墨垂杨 阅读(738) 评论(0) 推荐(1) 编辑
摘要: 用简单的话来说,你可以把Kafka当作可顺序写入的一大卷磁带, 可以随时倒带,快进到某个时间点重放。 常用开源分布式消息系统 *集群:多台机器组成的系统叫集群。 *ActiveMQ还是支持JMS的一种消息中间件。 *阿里巴巴metaq,rocketmq都有kafka的影子。 *kafka的动态扩容目 阅读全文
posted @ 2016-04-05 21:29 大墨垂杨 阅读(4306) 评论(0) 推荐(1) 编辑