摘要：
https://www.cnblogs.com/beginner-boy/p/7653147.html 阅读全文
posted @ 2020-11-13 14:07
所向披靡zz
阅读(98)
评论(0)
推荐(0)
摘要：
10.hive调优 10.1 Fetch抓取 Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到控制台。通过设置hive.fetch.task.conve 阅读全文
posted @ 2020-11-12 18:25
所向披靡zz
阅读(112)
评论(0)
推荐(0)
摘要：
7.hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 7.1 MR支持的压缩编码 压缩格式工具算法文件扩展名是否可切分 DEFAULT 阅读全文
posted @ 2020-11-12 17:58
所向披靡zz
阅读(441)
评论(0)
推荐(0)
摘要：
4. Hive 查询语法 4.1. SELECT SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING co 阅读全文
posted @ 2020-11-12 17:56
所向披靡zz
阅读(481)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-11-12 14:52
所向披靡zz
阅读(62)
评论(0)
推荐(0)
摘要：
这里我们选用hive的版本是2.1.1 下载地址为： http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 下载之后，将我们的安装包上传到第三台机器的/export/softwares目录下面去 第一步 阅读全文
posted @ 2020-11-11 18:59
所向披靡zz
阅读(178)
评论(0)
推荐(0)
摘要：
2.1. Hive 简介 什么是 Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapRed 阅读全文
posted @ 2020-11-11 18:57
所向披靡zz
阅读(205)
评论(0)
推荐(0)
摘要：
问题一: WARN TaskSetManager: Lost task 5.0 in stage 5.0 (TID 265, hdp01.test.com, executor 1): org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Foun 阅读全文
posted @ 2020-11-02 16:37
所向披靡zz
阅读(608)
评论(0)
推荐(0)
摘要：
先看下面es查询语句: { "size": 0, "aggs" : { "all_articleId" : { "terms" : { "field" : "articleId" } } } } 得到的结果： 该索引下有2w多条数据，经过聚合分桶后，也绝对不仅仅只是10个bucket，很显然，这似乎 阅读全文
posted @ 2020-10-29 17:29
所向披靡zz
阅读(925)
评论(0)
推荐(0)
摘要：
pom.xml: <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <version>6.1.0</version> </dependency> 代码: import 阅读全文
posted @ 2020-10-29 17:26
所向披靡zz
阅读(165)
评论(0)
推荐(0)
浙公网安备 33010602011771号