Dlimeng

2018年5月5日

摘要：整体结构： 1.Producer ：消息生产者，就是向kafka broker发消息的客户端。 2.Consumer ：消息消费者，向kafka broker取消息的客户端 3.Topic ：可以理解为一个队列。 4.Consumer Group （CG）：这是kafka用来实现一个topic消息的阅读全文

posted @ 2018-05-05 20:15 Dlimeng 阅读(9) 评论(0) 推荐(0)

kafka系列--结构01_李孟_新浪博客

posted @ 2018-05-05 20:15 Dlimeng 阅读(9) 评论(0) 推荐(0)

kafka系列--简介

摘要： Kafka简介： 1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个阅读全文

posted @ 2018-05-05 20:10 Dlimeng 阅读(14) 评论(0) 推荐(0)

kafka系列--简介_李孟_新浪博客

posted @ 2018-05-05 20:10 Dlimeng 阅读(12) 评论(0) 推荐(0)

kafka系列--安装

摘要：安装jdk略，zookeeper略创建消息持久化目录 /mnt/hadoop/kafka/kafkaLogs 下载kafka wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz tar –zxvf ka 阅读全文

posted @ 2018-05-05 18:55 Dlimeng 阅读(7) 评论(0) 推荐(0)

kafka系列--生产者

摘要：消费生产者样例，kafka用的版本: pom文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.10.2.1</version> <exclusions> 阅读全文

posted @ 2018-05-05 17:57 Dlimeng 阅读(13) 评论(0) 推荐(0)

2018年4月30日

导入hbase01

摘要：数据导入有如下几种方式： 1．利用HBase提供的ImportTsv将csv文件导入到HBase （舍弃） 2．利用HBase提供的completebulkload将数据导入到HBase 3．利用HBase提供的Import将数据导入到HBase（舍弃）实际生产环境上很难使用命令行的方式。毕竟源数阅读全文

posted @ 2018-04-30 18:50 Dlimeng 阅读(12) 评论(0) 推荐(0)

Spark源码系列03-任务提交02

摘要： spark源码系列03-任务提交01：https://blog.csdn.net/qq_19968255/article/details/82803794 12. DAGScheduler getShuffleMapStage 创建父Stage val stage =newOrUsedStage(… 阅读全文

posted @ 2018-04-30 18:08 Dlimeng 阅读(8) 评论(0) 推荐(0)

spark源码系列03-任务提交02_李孟_新浪博客

摘要： url: spark源码系列03-任务提交01 12. DAGScheduler getShuffleMapStage 创建父Stage val stage =newOrUsedStage(…… 13. DAGScheduler newOrUsedStage 递归 val stage = newSt 阅读全文

posted @ 2018-04-30 18:08 Dlimeng 阅读(9) 评论(0) 推荐(0)

spark源码系列03-任务提交01

摘要：用spark版本1.3+ val conf=new SparkConf().setAppName("WordCount") val sc=new SparkContext(conf) //构建RDD并调用Transformation //textFile创建一个hadoopRdd，产生一个MapPa 阅读全文

posted @ 2018-04-30 17:46 Dlimeng 阅读(11) 评论(0) 推荐(0)

公告