摘要：以下是一个简单的参考实例，用来验证通过FlinkSQL来跑批方式清洗Hive数据可行的。 （1）验证了Hive中org.openx.data.jsonserde.JsonSerDe格式的表是可以直接读取数据出来的 （2）通过TableAPI方式读取Hive表 （3）表转流操作，以及在流中做数据清洗 阅读全文

摘要：spark执行过程中偶发性出现错误。 Traceback (most recent call last): File "/dfs/data9/nm-local-dir/usercache/hadoop/appcache/application_1666879209698_29104/containe 阅读全文

摘要：遇到一个不规则的json如下： trace是数组，外面2个time，hash都是单个字段。 所以通过hive建表如下,trace使用了array包裹了struct结构： create external table xy_ods.ods_address_trace( trace array<struc 阅读全文

摘要：之前下架过节点，导致副本数量不全，再做健康检查时，发现许多这样的信息。 当然这样的信息并不是一定有问题，比如以下目录副本数就只有一个； 执行的flink的任务时，/flink/job/目录 hbase的一些tmp临时目录 /hbase/tmp 上传的jar包程序 /jars/ Under repli 阅读全文