~风轻云淡~ - 博客园

2015年11月12日

spark streaming 接收 kafka 数据java代码WordCount示例

摘要： 1. 首先启动zookeeper2. 启动kafka3. 核心代码生产者生产消息的java代码，生成要统计的单词package streaming;import java.util.Properties; import kafka.javaapi.producer.Producer; impo... 阅读全文

posted @ 2015-11-12 17:12 ~风轻云淡~ 阅读(23501) 评论(9) 推荐(0)

2015年11月9日

Kafka0.8.2删除topic逻辑（转）

摘要：原文链接：Kafka0.8.2.1删除topic逻辑前提条件：在启动broker时候开启删除topic的开关，即在server.properties中添加：delete.topic.enable=true命令：bin/kafka-topics.sh --zookeeper zk_host:port... 阅读全文

posted @ 2015-11-09 20:15 ~风轻云淡~ 阅读(2624) 评论(2) 推荐(0)

apache kafka监控系列-KafkaOffsetMonitor（转）

摘要：原文链接：apache kafka监控系列-KafkaOffsetMonitor 概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中br... 阅读全文

posted @ 2015-11-09 18:59 ~风轻云淡~ 阅读(1884) 评论(0) 推荐(0)

Kafka目录

摘要： 1. kafka生产者、消费者java示例 2. apache kafka监控系列-KafkaOffsetMonitor（转） 3. Kafka0.8.2删除topic逻辑（转） 4. spark streaming 接收 kafka 数据java代码WordCount示例 5. Spark+Kaf 阅读全文

posted @ 2015-11-09 18:51 ~风轻云淡~ 阅读(667) 评论(0) 推荐(0)

kafka生产者、消费者java示例

摘要： 1. 生产者import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig... 阅读全文

posted @ 2015-11-09 16:06 ~风轻云淡~ 阅读(20116) 评论(21) 推荐(0)

使用 Kafka 和 Spark Streaming 构建实时数据处理系统（转）

摘要：原文链接：http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool引言在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据... 阅读全文

posted @ 2015-11-09 09:16 ~风轻云淡~ 阅读(1123) 评论(0) 推荐(0)

2015年11月4日

Spark集群基于Zookeeper的HA搭建部署笔记（转）

摘要：原文链接：Spark集群基于Zookeeper的HA搭建部署笔记1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper（1）... 阅读全文

posted @ 2015-11-04 15:19 ~风轻云淡~ 阅读(472) 评论(0) 推荐(0)

ZooKeeper安装和配置（转）

摘要：原文链接：http://coolxing.iteye.com/blog/1871009Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的c... 阅读全文

posted @ 2015-11-04 14:55 ~风轻云淡~ 阅读(216) 评论(0) 推荐(0)

ZooKeeper目录

摘要： 1. Zookeeper常用命令 (转）2. ZooKeeper安装和配置（转）3. Spark集群基于Zookeeper的HA搭建部署笔记（转）阅读全文

posted @ 2015-11-04 10:46 ~风轻云淡~ 阅读(194) 评论(0) 推荐(0)

Zookeeper常用命令 (转）

摘要：原文链接：ZooKeeper系列之二:Zookeeper常用命令 ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkS... 阅读全文

posted @ 2015-11-04 10:44 ~风轻云淡~ 阅读(394) 评论(0) 推荐(0)

公告