随笔分类 -  Hadoop Eco.

关于pig中的bytearray
摘要：在pig load数据时候，如果不指定类型，则字段类型默认为bytearray。然后pig会根据上下文，隐式转换数据。 Map类型的值默认为bytearray类型 bytearray类型在pig中没有常量表示 在定义schema时，我们可以只提供字段名字而不指定字段类型; 在这种情况下，字段类型默认 阅读全文
posted @ 2019-03-07 22:17 LestatZ 阅读(267) 评论(0) 推荐(0)
Hive Insert Overwrite是否会产生临时文件
摘要：在Hive中使用INSERT OVERWRITE时， 数据会先被写入到数据文件夹的临时文件内，类似于 .hive-staging_hive_ 开头的文件 然后删除所有原文件，将临时文件重命名为”原文件“ 参考资料 what-is-the-behaviour-of-select-during-an-i 阅读全文
posted @ 2019-03-02 23:12 LestatZ 阅读(989) 评论(0) 推荐(0)
如何使用pig的AvroStorage存储array/map类型
摘要：文章目录 问题描述 解决方法 文章目录 问题描述 解决方法 问题描述 解决方法 问题描述 解决方法 问题描述 解决方法 问题描述 之前项目一直使用pig进行数据迁移，输出文件的类型是Avro。 一开始都是将字段设为string类型，但后来随着上有数据类型变得复杂，原来pig脚本已经无法使用。 因为我 阅读全文
posted @ 2019-02-24 22:01 LestatZ 阅读(332) 评论(0) 推荐(0)
关于Avro中的Unions类型
摘要：Avro中的复杂类型 Avro支持六种复杂类型： records enums arrays maps unions fixed Unions类型介绍 Unions使用JSON数组表示。 例如，[“null”，“string”]声明一个字段的类型可以是null或string。 注意 当替类型为unio 阅读全文
posted @ 2019-02-24 20:39 LestatZ 阅读(664) 评论(0) 推荐(0)
[Hive笔记]Hive常用命令整理
摘要：文章目录 Commonly used Hive Commands DDL Commands DML Commands 文章目录 Commonly used Hive Commands DDL Commands DML Commands Commonly used Hive Commands DDL 阅读全文
posted @ 2019-02-23 17:05 LestatZ 阅读(164) 评论(0) 推荐(0)
Hive to Mongo Update性能差
摘要：文章目录 问题描述 解决办法 文章目录 问题描述 解决办法 问题描述 解决办法 问题描述 解决办法 问题描述 解决办法 问题描述 项目中有一个作业是通过pig来利用hive表的数据来更新mongo表的数据，简而言之就是Hive to Mongo use MongoUpdateStorage. 这种方 阅读全文
posted @ 2019-02-19 22:21 LestatZ 阅读(433) 评论(0) 推荐(0)
Apache Pig使用MongoLoader产生大量空文件问题
摘要：文章目录 问题描述 原因分析 解决方法 文章目录 问题描述 原因分析 解决方法 问题描述 原因分析 解决方法 问题描述 原因分析 解决方法 问题描述 项目中需要利用Pig MongoLoader将MongoDB里面的数据每日增量备份到hive的外部分区表中，但是在检查hdfs文件发现分区文件夹下产生 阅读全文
posted @ 2019-02-16 22:08 LestatZ 阅读(254) 评论(0) 推荐(0)