摘要：
二． Spark 源码编译，针对不同版本的Hadoop 版本Spark版本：spark-1.6.11. 下载spark-1.6.1http://spark.apache.org/downloads.html 2. 解压到/opt/modules/目录下tar xzvf /opt/softwares/ 阅读全文
posted @ 2016-07-18 23:53
咱们屯里的人
阅读(371)
评论(0)
推荐(0)
摘要：
1.安装mysql数据库（root用户） 2. 创建oozie数据库 3. 上传解压oozie包（hadoop用户） 4. 修改core-site.xml（hadoop安装目录下面的即可） 5. 重启hadoop 4、解压oozie-hadooplibs 5、创建libext,拷贝jar包 6、修改 阅读全文
posted @ 2016-07-07 14:59
咱们屯里的人
阅读(612)
评论(0)
推荐(1)
摘要：
1.统一时区和同步系统时间(1)切换本机时区并同步时间 (2)修改oozie-site.xml中时区 (3)修改oozie-server/webapps/oozie/oozie-console.js时区 (4)重启oozied服务 2. 相关运行命令 3. 定义job.properties 4. 定 阅读全文
posted @ 2016-07-07 14:41
咱们屯里的人
阅读(699)
评论(0)
推荐(0)
摘要：
相关运行命令 1.定义job.properties 2. 定义workflow.xml 3. free.sh定义shell脚本 阅读全文
posted @ 2016-07-07 14:17
咱们屯里的人
阅读(4631)
评论(1)
推荐(0)
摘要：
相关运行命令 1.定义job.properties 2. 定义workflow.xml 阅读全文
posted @ 2016-07-07 14:11
咱们屯里的人
阅读(1193)
评论(0)
推荐(0)
摘要：
1. 创建数据库，切换数据库 2. 创建管理表 3. 创建外部表 创建外部表时直接指定表位置 上传数据文件到指定路径 在hive中创建数据表指定location 4. 创建分区表 注：分区字段不能与表中其他字段重复，否则报错 FAILED: SemanticException [Error 1003 阅读全文
posted @ 2016-07-04 20:47
咱们屯里的人
阅读(27061)
评论(0)
推荐(1)
摘要：
Flume基本操作 1.把Telnet产生的内容写入到控制台显示 a.conf内容如下： 2.把hive中产生的log写入到hdfs flume-hive.conf内容如下： 如果是HA架构需要把HA的core-site.xml与hdfs-site.xml放入到/opt/modules/cdh/fl 阅读全文
posted @ 2016-06-30 13:51
咱们屯里的人
阅读(2075)
评论(0)
推荐(0)
摘要：
案例： 1. 把原始log数据加载到表beifenglog中； 2. 建立子表beifenglog_hour_visit，存贮常用字段，并从原表中提取数据到子表中； 3. 提取原表数据过程中，使用UDF处理字段信息，存储到子表中； 1. 把原始log数据加载到表beifenglog中； 加载原表数据 阅读全文
posted @ 2016-06-28 16:47
咱们屯里的人
阅读(2175)
评论(0)
推荐(0)
摘要：
sqoop基本操作 1. 查询mysql中的数据库 2. import从mysql中导入数据到hdfs 注：--direct不能同时与 --as-sequencefile --as-avrodatafile --as-parquetfile连用 Parameters --as-sequencefil 阅读全文
posted @ 2016-06-27 19:27
咱们屯里的人
阅读(8052)
评论(0)
推荐(0)
摘要：
1 2 登录3 4 用户名：5 密码：6 7 阅读全文
posted @ 2015-11-15 21:37
咱们屯里的人
阅读(310)
评论(0)
推荐(0)
浙公网安备 33010602011771号