使用datax在同步mysql->hive时发现parquet一直在打印日志,严重影响了正常日志的查看 解决方案如下

step 1 : 修改datax的logback.xml发现无效,　在这里改来改去测试了半天, 后来得出结论, logback.xml根本控制不住这个包下的日志

step 2 : 直接更改hive源码jar包 https://www.jianshu.com/p/7a231ff6f2e6  可行

step 3 : 类冲突,可行

2019-4-29 19:27:55 信息: org.apache.parquet.hadoop.InternalParquetRecordReader: RecordReader initialized will read a total of 500 records.
2019-4-29 19:27:55 信息: org.apache.parquet.hadoop.InternalParquetRecordReader: at row 0. reading next block