07 2016 档案

Spark 1.6.1源码编译
摘要：二． Spark 源码编译，针对不同版本的Hadoop 版本Spark版本：spark-1.6.11. 下载spark-1.6.1http://spark.apache.org/downloads.html 2. 解压到/opt/modules/目录下tar xzvf /opt/softwares/ 阅读全文
posted @ 2016-07-18 23:53 咱们屯里的人 阅读(404) 评论(0) 推荐(0)
oozie安装步骤
摘要：1.安装mysql数据库（root用户） 2. 创建oozie数据库 3. 上传解压oozie包（hadoop用户） 4. 修改core-site.xml（hadoop安装目录下面的即可） 5. 重启hadoop 4、解压oozie-hadooplibs 5、创建libext,拷贝jar包 6、修改 阅读全文
posted @ 2016-07-07 14:59 咱们屯里的人 阅读(625) 评论(0) 推荐(1)
oozie案例——自定义coordinator
摘要：1.统一时区和同步系统时间(1)切换本机时区并同步时间 (2)修改oozie-site.xml中时区 (3)修改oozie-server/webapps/oozie/oozie-console.js时区 (4)重启oozied服务 2. 相关运行命令 3. 定义job.properties 4. 定 阅读全文
posted @ 2016-07-07 14:41 咱们屯里的人 阅读(721) 评论(0) 推荐(0)
oozie案例——自定义shell workflow
摘要：相关运行命令 1.定义job.properties 2. 定义workflow.xml 3. free.sh定义shell脚本 阅读全文
posted @ 2016-07-07 14:17 咱们屯里的人 阅读(4655) 评论(1) 推荐(0)
oozie案例——自定义MapReduce workflow
摘要：相关运行命令 1.定义job.properties 2. 定义workflow.xml 阅读全文
posted @ 2016-07-07 14:11 咱们屯里的人 阅读(1207) 评论(0) 推荐(0)
Hive基本操作与案例
摘要：1. 创建数据库，切换数据库 2. 创建管理表 3. 创建外部表 创建外部表时直接指定表位置 上传数据文件到指定路径 在hive中创建数据表指定location 4. 创建分区表 注：分区字段不能与表中其他字段重复，否则报错 FAILED: SemanticException [Error 1003 阅读全文
posted @ 2016-07-04 20:47 咱们屯里的人 阅读(27115) 评论(0) 推荐(1)