摘要：
下载安装包 下载 elasticsearch-6.8.0.tar.gz 目标服务器 172.16.119.100 上传目录：/home/hadoop/apps/， 解压： 重命名： 创建elk用户，并将elasticsearch授权给elk 注意：由于elasticsearch启动的时候不能直接用r 阅读全文
posted @ 2019-06-14 16:40
冷暖自知hk
阅读(908)
评论(0)
推荐(0)
摘要：
1.在项目上鼠标右键 --> Open Module Settings 2.Artifacts --> + --> JAR --> From modules with dependencies... 3.Main Class是你这个项目(脚本)的主方法,就是要运行的类,选一个 4.如下图,设置 ME 阅读全文
posted @ 2019-06-03 12:04
冷暖自知hk
阅读(892)
评论(0)
推荐(0)
摘要：
产生背景 自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大 阅读全文
posted @ 2019-05-24 11:44
冷暖自知hk
阅读(373)
评论(0)
推荐(0)
摘要：
一、Hadoop 框架计算特性 1、数据量大不是问题，数据倾斜是个问题 2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次 汇总，产生十几个 jobs，耗时很长。原因是 map reduce 作业初始化的时间是比较长的 3、sum,count,max,min 等 阅读全文
posted @ 2019-05-24 11:17
冷暖自知hk
阅读(510)
评论(0)
推荐(0)
摘要：
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduc 阅读全文
posted @ 2019-05-24 11:09
冷暖自知hk
阅读(251)
评论(0)
推荐(0)
摘要：
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题 3、主要表现 任务 阅读全文
posted @ 2019-05-24 11:08
冷暖自知hk
阅读(520)
评论(0)
推荐(0)
摘要：
一、Hive的命令行 1、Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular c 阅读全文
posted @ 2019-05-24 11:06
冷暖自知hk
阅读(216)
评论(0)
推荐(0)
摘要：
概述 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 数据准备 数据格式 创建表 玩一玩GROUPING SETS和GROUPING__ID 说明 在一 阅读全文
posted @ 2019-05-24 11:02
冷暖自知hk
阅读(540)
评论(0)
推荐(0)
摘要：
数据准备 数据格式 cookie4.txt 创建表 玩一玩LAG 说明 LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） 查询语句 查询结果 阅读全文
posted @ 2019-05-24 10:59
冷暖自知hk
阅读(538)
评论(0)
推荐(0)
摘要：
数据准备 数据格式 cookie3.txt d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 创建表 use cookie; drop table if exists cookie3; create table 阅读全文
posted @ 2019-05-24 10:56
冷暖自知hk
阅读(687)
评论(0)
推荐(0)
浙公网安备 33010602011771号