./spark-sql --conf spark.driver.maxResultSize=8g --driver-memory 20g --conf spark.kryoserializer.buffer.max=1G --conf spark.kryoserializer.buer=64m 测试 Read More
posted @ 2018-12-04 17:12
kwz
Views(854)
Comments(0)
Diggs(0)
hive on spark真的很折腾人啊!!!!!!! 一.软件准备阶段 maven3.3.9 spark2.0.0 hive2.3.3 hadoop2.7.6 二.下载源码spark2.0.0,编译 下载地址:http://archive.apache.org/dist/spark/spark-2 Read More
posted @ 2018-09-07 16:11
kwz
Views(2854)
Comments(1)
Diggs(1)
1、开启hive作业mapreduce任务中间压缩功能： 对于数据进行压缩可以减少job中map和reduce task间的数据传输量。对于中间数据压缩，选择一个低cpu开销编/解码器要不选择一个压缩率高的编解码器重要很多。hadoop压缩的默认编解码器是DefaultCodec，可以通过设置参数m Read More
posted @ 2018-08-27 15:16
kwz
Views(5948)
Comments(0)
Diggs(0)
1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hiv Read More
posted @ 2018-08-27 15:13
kwz
Views(709)
Comments(0)
Diggs(0)
一、调整hive作业中的map数 1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改) Read More
posted @ 2018-08-27 15:10
kwz
Views(1126)
Comments(0)
Diggs(0)
先开启服务端： nohup hive --service metastore & nohup hive --service hiveserver2 & 进入beeline： beeline -u jdbc:hive2://localhost:10000 -n root -p diagbot#### Read More
posted @ 2018-08-02 13:48
kwz
Views(1491)
Comments(0)
Diggs(0)
1、错误如下： Last login: Thu Jul 26 09:04:14 2018 from 192.168.3.250[root@diagbot01 ~]# yum -y install dos2unixLoaded plugins: fastestmirror, refresh-packa Read More
posted @ 2018-07-26 10:54
kwz
Views(2023)
Comments(0)
Diggs(0)
需求：把a服务器上mysql数据迁移到b服务器上mysql中。 1、下载datax: https://github.com/alibaba/DataX 2.解压tar -zxvf datax.tar.gz 3.编辑作业文件 diag.json { "job": { "content": [ { "r Read More
posted @ 2018-07-12 17:57
kwz
Views(6408)
Comments(1)
Diggs(0)
要求：计算hasgj表，计算每天新增mac数量。 因为spark直接扫描hbase表，对hbase集群访问量太大，给集群造成压力，这里考虑用spark读取HFile进行数据分析。 1、建立hasgj表的快照表：hasgjSnapshot 语句为：snapshot 'hasgj','hasgjSnap Read More
posted @ 2018-05-08 13:37
kwz
Views(5513)
Comments(1)
Diggs(0)
spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 对jar包执行：zip -d ztoTest1.jar META-INF/*.RSA META-I Read More
posted @ 2018-04-25 12:05
kwz
Views(344)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号