随笔分类 -  hive

hive sql 与 其他sql 转换
sqoop 并行读取oracle
摘要：报错信息 2020-06-19 16:57:44: ==〇^^^L\ = = Sqoop执行不成功！ Warning: /usr/hdp/2.5.3.0-37/accumulo does not exist! Accumulo imports will fail. Please set SACCUM 阅读全文
posted @ 2020-06-23 10:05 foola 阅读(627) 评论(0) 推荐(0)
hive 查询表数据量大小
摘要：为什么要查询表数据量 在做数据仓库管理时，数据导入hive或向表生成数据形成的数据资产，表里的数据量和占用存储空间是重要的元数据属性。为方便数据使用时计算资源的分配，对数据要有基本的了解，所以需要对表的数据量做统计。 使用 analyze table 主动生成元数据信息 analyze table 阅读全文
posted @ 2020-06-05 12:02 foola 阅读(26955) 评论(4) 推荐(8)
oracleSQL 转 SPARKSQL（hiveSql） 及常用优化
摘要：背景 数据处理平台从oracle迁移到hadoop平台后，原有的数据处理过程需要改写为sparkSql。由于sparkSql执行环境和数据的不确定，经常有资源竞争导致处理过程意外停止，数据倾斜导致任务执行失败。 为减少出错概率，需要对sparkSql进行规范与优化。 转换 exist 转换 为 le 阅读全文
posted @ 2020-05-25 18:44 foola 阅读(1097) 评论(0) 推荐(0)
OGG FOR BigData(Hive) OracleGoldenGate 性能测试
摘要：版本信息： Oracle GoldenGate Command Interpreter Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160430.1401 Linux, x64, 64bit (optimized), Gener 阅读全文
posted @ 2020-05-20 19:09 foola 阅读(1083) 评论(0) 推荐(0)