随笔分类 -  Hive

hive的数据倾斜
摘要：1.数据倾斜的解决方案 1.1参数调节 hive.map.aggr=true Map 端部分聚合，相当于Combiner hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，M 阅读全文
posted @ 2019-05-17 11:14 kwz 阅读(253) 评论(0) 推荐(0)
hive,把一个表中计算好的数据,存到另一个外部表中
摘要：直接上代码: 第一部分: case class OrdPacsresult_obj(pk_dcpv: String, result_obj: String) 第二部分: def ordsubj: Unit = { import sparkSession.implicits._ import spar 阅读全文
posted @ 2018-12-26 17:06 kwz 阅读(1684) 评论(0) 推荐(0)
spark操作hive方式(scala)
摘要：第一种方式: def operatorHive: Unit = { Class.forName("org.apache.hive.jdbc.HiveDriver") val url = "jdbc:hive2://192.168.2.xxx:10000" val connection: Connec 阅读全文
posted @ 2018-12-26 17:00 kwz 阅读(4860) 评论(1) 推荐(0)
hive on spark (spark2.0.0 hive2.3.3)
摘要：hive on spark真的很折腾人啊!!!!!!! 一.软件准备阶段 maven3.3.9 spark2.0.0 hive2.3.3 hadoop2.7.6 二.下载源码spark2.0.0,编译 下载地址:http://archive.apache.org/dist/spark/spark-2 阅读全文
posted @ 2018-09-07 16:11 kwz 阅读(2847) 评论(1) 推荐(1)
hive优化，开启压缩功能
摘要：1、开启hive作业mapreduce任务中间压缩功能： 对于数据进行压缩可以减少job中map和reduce task间的数据传输量。对于中间数据压缩，选择一个低cpu开销编/解码器要不选择一个压缩率高的编解码器重要很多。hadoop压缩的默认编解码器是DefaultCodec，可以通过设置参数m 阅读全文
posted @ 2018-08-27 15:16 kwz 阅读(5945) 评论(0) 推荐(0)
hive优化，并行查询
摘要：1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hiv 阅读全文
posted @ 2018-08-27 15:13 kwz 阅读(704) 评论(0) 推荐(0)
hive优化，控制map、reduce数量
摘要：一、调整hive作业中的map数 1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改) 阅读全文
posted @ 2018-08-27 15:10 kwz 阅读(1122) 评论(0) 推荐(0)
hive 的 beeline用法
摘要：先开启服务端： nohup hive --service metastore & nohup hive --service hiveserver2 & 进入beeline： beeline -u jdbc:hive2://localhost:10000 -n root -p diagbot#### 阅读全文
posted @ 2018-08-02 13:48 kwz 阅读(1487) 评论(0) 推荐(0)
Hive的自定义函数
摘要：功能： 通过人的生日，算出人的生肖和星座。 先在hive中创建一个表： 往这表中导入数据： 导入的数据为： 可以成功查询： 编写自定义函数代码：如下 打包： 把包上传到HiveUdfJar目录下： 把jar包添加到hive中： 创建临时函数shengxiao: 查询： 好了！这个自定义函数完成了。 阅读全文
posted @ 2017-09-06 16:38 kwz 阅读(307) 评论(0) 推荐(0)
Hive中的数据库、表、数据与HDFS的对应关系
摘要：1、hive数据库 我们在hive终端，查看数据库信息，可以看出hive有一个默认的数据库default，而且我们还知道hive数据库对应的是hdfs上面的一个目录，那么默认的数据库default到底对应哪一个目录呢？我们可以通过hive配置文件hive-site.xml中的一个hive.metas 阅读全文
posted @ 2017-09-06 13:14 kwz 阅读(6466) 评论(0) 推荐(0)
hive表的DDL
摘要：查看表 hive> show tables;创建表 hive> create table t1(id int);查看表结构 hive> desc [extended] t1; extended是可选的，是扩展的表的信息 查看表的创建语句 hive> show create table t1; 在me 阅读全文
posted @ 2017-09-04 10:45 kwz 阅读(574) 评论(0) 推荐(0)
Hive的安装和配置
摘要：前提是：hadoop必须已经启动了*** 1°、解压hive的安装包 [crxy@master soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../ 2°、备份配置文件 [crxy@master conf]# cp hive-env.sh.tem 阅读全文
posted @ 2017-09-02 15:04 kwz 阅读(239) 评论(0) 推荐(0)
hive基础及系统架构
摘要：1、hive是什么 hive是建立在hadoop上的数据仓库，提供数据的提取、转化和加载。 2、hive的数据存储 1】hive的数据存储基于hdfs 2】存储结构主要包括：数据库、文件、表、索引、视图 3】hive默认可以直接加载文本文件（TextFile）,还支持SecquenceFile、RC 阅读全文
posted @ 2017-09-02 14:12 kwz 阅读(766) 评论(0) 推荐(0)