linkis 结果集

一．简介

Linkis面临将多种类型的数据存储到文件里面的需求，如：将Hive表数据存储到文件，并希望能保存字段的类型、列名和comment等元数据信息。

二．Storage存储多种文件系统

三．结果集-Parquet

3.1 Parquet 组成

Parquet仅仅是一种存储格式，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，目前能够和Parquet适配的组件包括下面这些，可以看出基本上通常使用的查询引擎和计算框架都已适配，并且可以很方便的将其它序列化工具生成的数据转换成Parquet格式。

• 查询引擎: Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM Big SQL
• 计算框架: MapReduce, Spark, Cascading, Crunch, Scalding, Kite
• 数据模型: Avro, Thrift, Protocol Buffers, POJOs

每一个数据模型的schema包含多个字段，每一个字段又可以包含多个字段，每一个字段有三个属性：重复数、数据类型和字段名