2020年12月16日
探究 Parquet 生成方式(impala,hive都可以查询)分区(二)
摘要： 1.可以先参考第一篇文章 https://www.cnblogs.com/luxj/p/14144972.html 2.分区的好处(例如按年月日生成表) 3.可以参考第一篇文章(先建表) 区别在于 PARTITIONED BY (year INT, month INT, day INT) creat 阅读全文
posted @ 2020-12-16 22:31 一叶知秋。 阅读(478) 评论(0) 推荐(0)
java写parquet文件
摘要： https://blog.csdn.net/u012995897/article/details/76623739 打开ParquetWriter或者ParquetReader发现大部分构造方法都是过时的（@Deprecated），经过仔细的百度，和读源码，才发现原来创建ParquetWriter对 阅读全文
posted @ 2020-12-16 19:54 一叶知秋。 阅读(2608) 评论(0) 推荐(0)
探究 Parquet 生成方式(impala,hive都可以查询)(一)
摘要： https://my.oschina.net/skyim/blog/479159 1. Parquet 的优点我就不说拉（列存储和良好的压缩）,列存储可以参考如下链接2.主要是项目中用到的存储3.第一步,首先在hive中创建一张表,操作表语句如下 create external table parq 阅读全文
posted @ 2020-12-16 17:11 一叶知秋。 阅读(785) 评论(0) 推荐(0)