2016 年 9月随笔档案 - YL10000

strom的使用02

摘要：1.grouping分组策略 stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个Tasks。 storm里面有6种类型的stream grouping: 1.1.Shuffle Grouping: 随机分组，随机派发stream里面的tuple，保证每个阅读全文

posted @ 2016-09-27 20:37 YL10000 阅读(269) 评论(0) 推荐(0)

strom的使用01

摘要：1.strom的安装和测试 1.1 搭建zookeeper集群参考hadoop2.0初识1.3中的1.4配置zookeeper集群和自动故障转移 1.2 安装storm依赖的软件 sudo yum install gcc-c++ sudo yum install uuid-devel sudo y 阅读全文

posted @ 2016-09-16 11:08 YL10000 阅读(213) 评论(0) 推荐(0)

ooize的使用01

摘要：1.常用的调度框架 1.1 linux crontab 1.1.1 编写一个crontab,每一分钟向/opt/data/cronlogs文件中添加当前时间 crontab -e 1.1.2 查看当前所用的定时任务 crontab -l 1.1.3删除当前的定时任务 crontab -r 1.2 a 阅读全文

posted @ 2016-09-11 11:56 YL10000 阅读(445) 评论(0) 推荐(0)

flume的使用

摘要：1.flume的安装和配置 1.1 配置java_home,修改/opt/cdh/flume-1.5.0-cdh5.3.6/conf/flume-env.sh文件 1.2 配置hdfs集成 1.2.1添加hdfs的jar包到/opt/cdh/flume-1.5.0-cdh5.3.6/lib目录下 c 阅读全文

posted @ 2016-09-10 23:20 YL10000 阅读(732) 评论(0) 推荐(0)

sqoop的使用

摘要：1.sqoop的安装 1.1 与hadoop和hive的集成，修改/opt/cdh/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh 文件 1.2 验证安装是否成功 bin/sqoop version 查看sqoop版本 2.sqoop 基本操作 2.1 查看sqoop可阅读全文

posted @ 2016-09-10 11:34 YL10000 阅读(432) 评论(0) 推荐(0)

hive的使用03

摘要：1.hive中的四种排序 1.1 order by :对全局进行排序，只能有一个reduce select * from hive.employee order by id; 1.2 sort by :对每一个reduce内部数据进行排序，全局结果集没有排序 set mapreduce.job.re 阅读全文

posted @ 2016-09-08 20:19 YL10000 阅读(179) 评论(0) 推荐(0)

hive的使用02

摘要：1.hive的交互方式 1.1 bin/hive 进入hive交互命令行环境 1.2 bin/hive -e 'select * from hive.student;' （可以通过 > 将结果写入到指定的文件中） 1.3 bin/hive -f /opt/data/hive-select.sql （阅读全文

posted @ 2016-09-06 15:12 YL10000 阅读(208) 评论(0) 推荐(0)

hive的使用01

摘要：1.安装mysql数据库 1.1 查看本机是否安装了mysql数据库（rpm -qa | grep mysql） 1.2 删除系统自带的mysql数据库(rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64) 1.3 解压mysql.zip文件，并添加执行阅读全文

posted @ 2016-09-05 20:13 YL10000 阅读(248) 评论(0) 推荐(0)