摘要：
hive的join查询 语法 实例： left join/right join 左查询就是不管能不能匹配到右边的表，都会输出左面的表，未匹配到的项目为空 | name | age | | | | | wang | 13 | | zhao | 14 | | name | score | | | | | 阅读全文
posted @ 2017-10-23 17:51
wswang
阅读(1149)
评论(0)
推荐(0)
摘要：
hive内部表、外部表、分区 内部表（managed table） 默认创建的是内部表（managed table），存储位置在 设置，默认位置是 。 导入数据的时候是将文件剪切（移动）到指定位置，即原有路径下文件不再存在 删除表的时候，数据和元数据都将被删除 默认创建的就是内部表 外部表（exte 阅读全文
posted @ 2017-10-23 17:51
wswang
阅读(5567)
评论(0)
推荐(0)
摘要：
hive的UDF读取配置文件 实现步骤 在读取配置文件的写为 ，然后在添加UDF的时候把配置文件也加入资源就好了： 不然可能会出现下面错误： 参考 "古韦的专栏" 阅读全文
posted @ 2017-10-23 17:50
wswang
阅读(4179)
评论(3)
推荐(0)
摘要：
hive的row_number()函数 功能 1. 用于分组，比方说依照uuid分组 2. 组内可以依照某个属性排序，比方说依照uuid分组，组内按照imei排序 3. 语法为 ，其中rank为分组的别名，你也可以换个名字比方说换成hahahah 4. 取组内某个数据，可以使用where a.ran 阅读全文
posted @ 2017-10-23 17:50
wswang
阅读(13603)
评论(0)
推荐(0)
摘要：
hive里的group by和distinct 前言 今天才明确知道group by实际上还是有去重读作用的，其实细想一下，按照xx分类，肯定相同的就算是一类了，也就相当于去重来，详细的看一下。 group by 看一下实例1： 按照这个去分类，最后结果只有一个，达到了去重的效果；实际上，所谓去重， 阅读全文
posted @ 2017-10-23 17:49
wswang
阅读(20532)
评论(0)
推荐(0)
摘要：
hive外部表删除遇到的一个坑 操作步骤 1. 创建某个表（ ） 2. 插入数据( ) 3. 删除表（ ） 4. 重新创建 5. 插入数据 6. 查询数据 现象 查询数据发现部分第一次插入的数据 查询数据量发现大于第二次插入的数量 原因 与其说是坑，不如说是自己忽略了一点： 插入的是外部表，当dro 阅读全文
posted @ 2017-10-23 17:48
wswang
阅读(9812)
评论(0)
推荐(0)
摘要：
hive添加UDF 步骤如下： 函数分为永久和临时函数，后者会话退出则消失，前者不会 查看已有函数（ 创建好后也可以通过这个来查看是否成功 ） 写UDF的java文件，如： 将写好的java文件打包成jar： 进入hive，添加jar文件 添加临时函数（ 会话结束函数消失 ） 进入hive，添加ja 阅读全文
posted @ 2017-10-23 17:48
wswang
阅读(1853)
评论(0)
推荐(1)
摘要：
hive一行变多行及多行变一行 场景 | name | alias | | | | | zhaoqiansun | abc def ghi | 处理数据时需要将上表处理成为下面的形式： | name | alias | | | | | zhaoqiansun | abc | | zhaoqiansu 阅读全文
posted @ 2017-10-23 17:47
wswang
阅读(17190)
评论(0)
推荐(0)
摘要：
hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误 起因 使用hive做join查询，a表十几万数据，b表1kw多点数据，结果跑起来就是跑一半返回错误，提示如 阅读全文
posted @ 2017-10-23 17:46
wswang
阅读(54461)
评论(2)
推荐(1)
摘要：
Mac使用pyenv安装Python出现The Python zlib extension was not compiled. Missing the zlib错误 参考这里，详细如下： On Mac OS X 10.9, 10.10 and 10.11 you may need to set th 阅读全文
posted @ 2017-10-23 17:45
wswang
阅读(2346)
评论(0)
推荐(0)
浙公网安备 33010602011771号