摘要:flume-kafka-storm flume读取日志数据,然后发送至kafka。 1、flume配置文件 2、启动flume 3、需要在flume机器上修改hosts文件,添加上kafka的主机名和ip的映射。 4、在kafka上创建主题 5、模拟生成日志脚本 6、在kafka上开启消费者 至此, 阅读全文
posted @ 2018-03-20 15:01 IT-執念 阅读(1164) 评论(0) 推荐(0) 编辑
摘要:使用java API操作kafka 1.pom.xml 2.producer和consumer配置文件 2.1producer.properties 2.2consumer.properties 3.生产者和消费者代码 3.1 KafkaProducerSimple.java 3.2 KafkaCo 阅读全文
posted @ 2018-03-16 10:33 IT-執念 阅读(2745) 评论(0) 推荐(0) 编辑
摘要:1、kafka是什么 类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 producer:生产者,只负责数据生产,生产者的代码可以集成到任何系统中。数据的分发策略由producer决定,默认是D 阅读全文
posted @ 2018-03-15 23:47 IT-執念 阅读(418) 评论(0) 推荐(0) 编辑
摘要:一 配置文件(下载、解压、跳过) 1 # Licensed to the Apache Software Foundation (ASF) under one or more 2 # contributor license agreements. See the NOTICE file distri 阅读全文
posted @ 2018-03-13 19:06 IT-執念 阅读(232) 评论(0) 推荐(0) 编辑
摘要:1、集群如何启动,任务如何执行? java -server nimbus,supervisor client >createTopology(序列化) >提交jar到nimbusinbox >nimibus分配任务(task总数/worker数) 写到zk。 启动worker< 识别自己的任务< s 阅读全文
posted @ 2018-03-07 10:09 IT-執念 阅读(251) 评论(0) 推荐(0) 编辑
摘要:1 功能说明 设计一个topology,来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分: SentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 SplitBolt:负责将单行文本记录(句子)切分成单词 CountBolt:负责对单词的频率进行累加 阅读全文
posted @ 2018-01-24 15:36 IT-執念 阅读(156) 评论(0) 推荐(0) 编辑
摘要:1 strom集群规划 Nimbus:hadoop1 zookeeper:hadoop2,hadoop3,hadoop4 supervisor:hadoop5,hadoop6,hadoop7 安装文件:apache-storm-1.0.0.tar 2 配置文件 storm.zookeeper.ser 阅读全文
posted @ 2018-01-24 15:04 IT-執念 阅读(136) 评论(0) 推荐(0) 编辑
摘要:1 流式计算 流式计算:数据实时产生、实时传输、实时计算、实时展示 代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。 一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结 阅读全文
posted @ 2018-01-24 11:30 IT-執念 阅读(296) 评论(0) 推荐(0) 编辑
摘要:安装环境: hbase版本:hbase-1.4.0-bin.tar.gz hive版本: apache-hive-1.2.1-bin.tar 注意请使用高一点的hbase版本,不然就算hive和hbase关联成功,执行语句的时候会出现错误(The connection has to be unman 阅读全文
posted @ 2018-01-16 11:24 IT-執念 阅读(2183) 评论(0) 推荐(0) 编辑
摘要:容易遇到的坑: 当用mapReducer操作HBase时,运行jar包的过程中如果遇到 java.lang.NoClassDefFoundError 类似的错误时,一般是由于hadoop环境没有hbase相关的jar包,这时候需要修改hadoop_env.sh文件,在最后面添加一行: 实例演示: p 阅读全文
posted @ 2018-01-11 16:25 IT-執念 阅读(2036) 评论(0) 推荐(1) 编辑