摘要：
1、Azkaban插件，就是一个工作流 （1）工作流概述 定义：定义了任务的触发顺序和触发条件，每个任务可由多种组合方式完成（百度） jBPM：开源的业务流程管理 Activiti：工作流 2、调度在大数据处理中的重要性 （1）Spark SQL/Hadoop用于做离线统计处理 （2）ETL过程 0 阅读全文
posted @ 2021-09-03 15:01
酱汁怪兽
阅读(273)
评论(0)
推荐(0)
摘要：
1、统计PV hive (testzhang_db)> select count(*) from track_info where day='2013-07-21'; 2、统计Province hive (testzhang_db)> select province, count(*) from t 阅读全文
posted @ 2021-08-31 10:57
酱汁怪兽
阅读(476)
评论(0)
推荐(0)
摘要：
1、创建文件夹，放入原始数据 [hadoop@hadoop000 ~]$ hadoop fs -mkdir -p /project/input/raw [hadoop@hadoop000 data]$ hadoop fs -put trackinfo_20130721.data /project/i 阅读全文
posted @ 2021-08-31 10:17
酱汁怪兽
阅读(255)
评论(0)
推荐(0)
摘要：
1、打开IDEA中的C:\Users\jieqiong\IdeaProjects\hadoop-train-v2\input\etl\part-r-00000 2、创建外部表track_info （1）依据上述IDEA中的ETL的结果，进行建表 （2）一般：日志是一天一个分区partitioned 阅读全文
posted @ 2021-08-30 17:00
酱汁怪兽
阅读(105)
评论(0)
推荐(0)
摘要：
1、emp员工表是一个内部表MANAGED_TABLE （1）emp表，不要删除 hive (testzhang_db)> show tables; hive (testzhang_db)> select * from emp; hive (testzhang_db)> desc formatted 阅读全文
posted @ 2021-08-30 16:27
酱汁怪兽
阅读(231)
评论(0)
推荐(0)
摘要：
1、官网 （1）LanguageManual Explain - Apache Hive - Apache Software Foundation 2、为什么是Stage-3 （1）在join使用的过程中，本地浏览器的运行终端FINISHED Applications中显示的是select e.em 阅读全文
posted @ 2021-08-30 14:44
酱汁怪兽
阅读(48)
评论(0)
推荐(0)
摘要：
1、join：多表 2、emp员工表、dept部门表 （1）部门编号 （2）部门名称 （3）部门所在地 [hadoop@hadoop000 data]$ cat dept.txt 10 ACCOUNTING NEW YORK 20 RESEARCH DALLAS 30 SALES CHICAGO 4 阅读全文
posted @ 2021-08-30 14:21
酱汁怪兽
阅读(57)
评论(0)
推荐(0)
摘要：
1、分组函数 （0）LanguageManual GroupBy - Apache Hive - Apache Software Foundation （1）group by 2、求每个部门的平均工资 （1）先对部门分组 （2）然后求部门的平均工资 （3）规则：出现在select中的字段，如果没有出 阅读全文
posted @ 2021-08-30 11:06
酱汁怪兽
阅读(171)
评论(0)
推荐(0)
摘要：
1、聚合 （0）LanguageManual Select - Apache Hive - Apache Software Foundation （1）max/min/sum/avg （2）涉及统计操作的，都是要跑mapreduce的 2、统计部门编号为10的员工数 hive (testzhang_ 阅读全文
posted @ 2021-08-30 10:44
酱汁怪兽
阅读(61)
评论(0)
推荐(0)
摘要：
1、Queries select （1）LanguageManual Select - Apache Hive - Apache Software Foundation 2、查找表信息 hive (testzhang_db)> select * from emp; 3、特定条件，查找表信息 hive 阅读全文
posted @ 2021-08-30 10:29
酱汁怪兽
阅读(82)
评论(0)
推荐(0)
浙公网安备 33010602011771号