2018年8月14日
S3上备份的json文件转存成parquet文件
摘要： 背景： 大量falcon 监控数据打到kinesis，然后把kinesis内的数据以json格式实时备份到s3上（临时备份），为了降低成本，减少S3空间占用以及后期数据分析，计划把s3上的json文件转储成parquet文件。 使用服务：glue(脚本作业)+lambda（定时触发glue脚本）+c 阅读全文
posted @ 2018-08-14 16:49 老农夫 阅读(1431) 评论(0) 推荐(0)