摘要：
Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create external tab... 阅读全文
摘要：
前言： 每一个表或者分区，hive都可以进一步组织成桶，桶是更细粒度的数据划分，他本质不会改变表或分区的目录组织方式，他会改变数据在文件中的分布方式。分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相... 阅读全文
摘要：
首先利用python造一些假数据，来进行hive的学习： 代码如下： # coding: utf-8import randomimport datetimeimport sysreload(sys)sys.setdefaultencoding('... 阅读全文
摘要：
GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 grouping sets根据不同的维度组合进行聚合，等... 阅读全文
摘要：
问题原因：之前hive里有数据，后面MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。需要进行修复。 解决方法：可以使用msck repair table xxxxx命... 阅读全文
摘要：
存现这种错误是因为 编写的 shell脚本是在win下编写的，每行结尾是\r\n 的Unix 结果行是\n 所以在Linux下运行脚本 会任务\r 是一个字符，所以运行错误，需要把文件转换下 方法一、 sed -i 's/\r//' 脚本名 方法... 阅读全文
摘要：
安装 jdk (百度)安装 maven 1、wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.t... 阅读全文
摘要：
1下载 wget http://nodejs.org/dist/v0.10.33/node-v0.10.33-linux-x64.tar.gz 2解压 [root@bigData-02 ~]# tar –zxvf node-v0.10.33... 阅读全文
摘要：
Hadoop-daemon.sh:用于启动当前节点的进程 例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh：用于启动所有节... 阅读全文
摘要：
在clone代码的时候，报错如下： 并且在报错的时候，VPN自动断线，之后自动连接。原本以为是VPN不稳定的缘故。重启之后，还是不行。 经过搜索，发现有人给出了解决方案，我也是在此基础上解决了该问题。 解决方式连接：http://www.... 阅读全文