摘要：
HDFS常用命令 阅读全文
posted @ 2018-11-28 14:44
大数据-大道至简
阅读(445)
评论(0)
推荐(0)
摘要：
找出大文件 磁盘空间被耗尽的时候，免不了要清理一下，比如说/home目录太大，就可以使用下面命令看看到底是谁： 阅读全文
posted @ 2018-11-28 14:42
大数据-大道至简
阅读(556)
评论(0)
推荐(0)
摘要：
hive函数 regexp_extract "Hive LanguageManual UDF" 语法描述 Returns the string extracted using the pattern. For example, regexp_extract('foothebar', 'foo(. ? 阅读全文
posted @ 2018-11-28 14:37
大数据-大道至简
阅读(6828)
评论(0)
推荐(0)
摘要：
mysql 取整 阅读全文
posted @ 2018-11-28 14:36
大数据-大道至简
阅读(5732)
评论(0)
推荐(1)
摘要：
参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 阅读全文
posted @ 2018-11-28 14:35
大数据-大道至简
阅读(11513)
评论(0)
推荐(0)
摘要：
非分区表 "Blog:hive 非分区表 导入csv数据" 阅读全文
posted @ 2018-11-28 14:33
大数据-大道至简
阅读(478)
评论(0)
推荐(0)
摘要：
like与rlike的区别 like不是正则，而是通配符。这个通配符可以看一下SQL的标准，例如%代表任意多个字符。 rlike是正则，正则的写法与java一样。'\'需要使用'\\',例如'\w'需要使用'\\w' 阅读全文
posted @ 2018-11-28 14:32
大数据-大道至简
阅读(9088)
评论(0)
推荐(0)
摘要：
```
## 当前日期和时间
SELECT current_timestamp();
-- 2018-04-28 11:46:03.136 ## 获取当前日期，当前是 2018-04-28
SELECT current_date;
OR
SELECT current_date();
-- 2018-04-28 ## 获取unix系统下的时间戳
SELECT UNIX_TIMESTAMP();
... 阅读全文
posted @ 2018-11-28 14:32
大数据-大道至简
阅读(2608)
评论(0)
推荐(1)
摘要：
[TOC] hive参数配置详情可查官方文档 "Hive Configuration+Properties" 本文针对 reducer 调优，主要涉及一下三个参数： hive.exec.reducers.bytes.per.reducer Default Value: 1,000,000,000 p 阅读全文
posted @ 2018-11-28 14:28
大数据-大道至简
阅读(1527)
评论(0)
推荐(0)
摘要：
Hive Analytics Functions : row_number rank over(partition by ) ======== 在做数据分析是，会统计用户访问app不同页面的开始时间，理论上同一个用户访问不同页面的开始时间应该不同。为了排查app端是否存在bug，用到row_numb 阅读全文
posted @ 2018-11-28 14:27
大数据-大道至简
阅读(200)
评论(0)
推荐(0)
摘要：
修改hive表字段的注释 ==== 修改之前 alter table 修改之后 阅读全文
posted @ 2018-11-28 14:26
大数据-大道至简
阅读(10900)
评论(0)
推荐(1)
摘要：
这里创建了表page_view,有表的注释，一个字段ip的注释，分区有两列,分别是dt和country。 [ROW FORMAT DELIMITED]关键字，是用来设置创建的表在加载数据的时候，支持的列分隔符。 不同列之间用一个'\001'分割, 集合(例如array,map)的元素之间以'\002 阅读全文
posted @ 2018-11-28 14:25
大数据-大道至简
阅读(1455)
评论(0)
推荐(0)
摘要：
hive显式使用mapjoin 阅读全文
posted @ 2018-11-28 14:24
大数据-大道至简
阅读(8254)
评论(0)
推荐(0)
摘要：
hive函数weekofyear应用及怪异的姿势分析 阅读全文
posted @ 2018-11-28 14:23
大数据-大道至简
阅读(3580)
评论(0)
推荐(0)
摘要：
error in shuffle in fetcher 分析及方案 阅读全文
posted @ 2018-11-28 14:21
大数据-大道至简
阅读(2296)
评论(0)
推荐(0)
摘要：
hive正则解析字符串以及 hive get_json_object 解析 json 字符串 阅读全文
posted @ 2018-11-28 14:13
大数据-大道至简
阅读(934)
评论(0)
推荐(0)
摘要：
Hive外表创建和加载数据 阅读全文
posted @ 2018-11-28 14:11
大数据-大道至简
阅读(4628)
评论(2)
推荐(0)
浙公网安备 33010602011771号