随笔分类 -  Spark

摘要:sqoop目前有两个版本sqoop1和sqoop2,这里安装的是sqoop1版本 1)将软件上传到spark1节点 2)修改权限 3)解压安装 4)重命名 5)配置环境变量 6)使环境变量生效并验证是否配置成功 7)修改配置文件 sqoop env.sh 8)将所需要的mysql驱动包拷贝到Sqoo 阅读全文
posted @ 2016-11-15 20:15 邬家栋 阅读(932) 评论(0) 推荐(0) 编辑
摘要:由于前面安装版本过老,导致学习过程中出现了很多问题,今天安装了一个新一点的版本。安装结束启动时遇到一点问题,记录在这里。 第一步:hive 1.2安装 通过WinSCP将apache hive 1.2.1 bin.tar.gz上传到/usr/hive/目录下 第二步:安装mysql 第三步:在mys 阅读全文
posted @ 2016-11-12 10:46 邬家栋 阅读(1337) 评论(0) 推荐(0) 编辑
摘要:第一步:hive安装 通过WinSCP将apache hive 0.13.1 bin.tar.gz上传到/usr/hive/目录下 第二步:安装mysql 第三步:在mysql上创建hive元数据库,并对hive进行授权 第四步:配置文件 测试hive hive show databases; hi 阅读全文
posted @ 2016-11-10 19:54 邬家栋 阅读(518) 评论(0) 推荐(0) 编辑
摘要:把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看 第一步:安装主节点spark1 第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码123456 ,虚拟机名称spark1 第二步:配置yum源 需经常使用yum安装软件,使用国内网易源速 阅读全文
posted @ 2016-11-08 19:15 邬家栋 阅读(1059) 评论(0) 推荐(0) 编辑