4.8：数据获取和存储综合

〇、概述

1、拓扑结构

 

2、目标

进行kafka，flume，和hive的数据综合处理实验

一、实验过程

1、启动环境

 

2、hive操作

输入hive

进入hive，输入 create table kafkatest(id int,name string,age int) clustered by(id) into 2 buckets stored as orc tblproperties('transactional'='true');

创建一张表，用来盛放数据。

 

 

 

启动元数据服务

3、kafka操作

 

nohup bin/kafka-server-start.sh config/server.properties >~/bigdata/kafka_2.11-1.0.0/logs/server.log 2>&1 &

后台启动kafka。（进程数字可以不同）

 

 输入：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkatest

创建一个新的topic

 

4、flume操作

 

 bin/flume-ng agent --conf conf/ --conf-file conf/kafkatohive.conf --name a -Dflume.root.logger=INFO,console

启动flume

 

 回到kafka目录下的终端，输入：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatest

启动kafka的consumer。

 

向启动好的kafka中输入1,a,3（1对应hive表中的id，a对应name，3对应age，可以进行适当更换）。发现flume的终端在执行任务。最后启动一个新的终端，输入hive，输入select * from kafkatest;可以查看到刚才键入的数据。

 

 退出hive：exit