RICH-ATONE

hive 类似oracle的 decode函数

摘要： Oracle的decode函数语法：DECODE(value,if1,then1,if2,thne2,if3,then3,...else)。首先涉及到的问题是输入参数的动态化，decode函数要求输入函数是偶数个，然后实现类似if，else的逻辑判断功能。这样的话用到了java的Object .. 阅读全文

posted @ 2020-09-24 16:53 RICH-ATONE 阅读(7324) 评论(0) 推荐(0)

hive中split后计算最后指定位数的字段值（从后往前推的索引值）

摘要：假设字段样式如下： a,b,c,d a,c,b a,f,g,h,j 想要取出倒数第一位的数（结果如下）： c c h 实现如下：方法一： select split(temp_column,',')[size(split(temp_column,',')-1)] from test001 ; 方法二阅读全文

posted @ 2020-09-23 23:14 RICH-ATONE 阅读(2854) 评论(0) 推荐(0)

数据建模的原因与实施

摘要： 1.主要是从性能、成本、效率、质量这几个方面考虑 2.进行数据调研和业务调研，调研的是否充分、将会直接决定数据仓库的建设是否成功 3.规范化和非规范化区别与选择数据仓库的定义数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。其中数据集成是数据仓库的四个特阅读全文

posted @ 2020-09-22 17:10 RICH-ATONE 阅读(327) 评论(0) 推荐(0)

数据分析与需求方的沟通与交流

摘要：转发：https://mp.weixin.qq.com/s?__biz=MzU4NjgzNzk4MQ==&mid=2247484308&idx=1&sn=60003825f6db0fe23909a25941da7982&chksm=fdf47926ca83f03000d71c1aab3523689 阅读全文

posted @ 2020-09-17 18:41 RICH-ATONE 阅读(233) 评论(0) 推荐(0)

hive 未初始化元数据库报错

摘要：报错： Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1600214969848' doesn't exist 。。。。。参考： https://www.cnblo 阅读全文

posted @ 2020-09-16 10:41 RICH-ATONE 阅读(233) 评论(0) 推荐(0)

hive多并发问题报错：Caused by: java.sql.BatchUpdateException: Duplicate entry 'admin-ROLE-All-admin-ROLE' for key 'GLOBALPRIVILEGEINDEX'

摘要：报错日志： at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114) at com.sun.proxy.$Proxy82.grantPrivileges(Unknown Source) at or 阅读全文

posted @ 2020-09-08 10:41 RICH-ATONE 阅读(5225) 评论(0) 推荐(0)

hive报错FAILED: SemanticException [Error 10210]: Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns

摘要：检查sql是否存在引用多个表的字段或者case when的字段和聚函数(例如count、sum)中的字段是否有重复，导致冲突阅读全文

posted @ 2020-09-03 13:17 RICH-ATONE 阅读(2256) 评论(0) 推荐(0)