飞鸟各投林

导航

随笔分类 -  7Pig+zk+Sqoop

吴超老师课程--Sqoop的安装和介绍
摘要:SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 一:安装步骤1.解压、设置环境变量,略2.把mysql.............ja 阅读全文

posted @ 2016-04-08 13:42 飞鸟各投林 阅读(167) 评论(0) 推荐(0)

吴超老师课程--Pig的介绍和安装
摘要:1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。一步一步来的,跟SQL不一样,SQL一步就得到答案,3.Pig基本数据 阅读全文

posted @ 2016-04-07 23:47 飞鸟各投林 阅读(334) 评论(0) 推荐(0)

吴超老师课程---ZooKeeper介绍和集群安装
摘要:1.ZooKeeper 1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2.如何搭建ZooKeeper服务器集群 2.1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。 2.2 在hadoop0的/usr/local目录下,解压缩zk....tar.gz,重命名 阅读全文

posted @ 2016-04-07 20:34 飞鸟各投林 阅读(269) 评论(0) 推荐(0)