2021年9月3日

通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

摘要： 一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中） 比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译 源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是 阅读全文

posted @ 2021-09-03 23:57 荣锋亮 阅读(113) 评论(0) 推荐(1)

dremio 17 混合类型的问题

摘要： 混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的） 说明 dremio 18 也 阅读全文

posted @ 2021-09-03 22:51 荣锋亮 阅读(64) 评论(0) 推荐(0)

jackson jsonlines 处理-读取以及生成

摘要： jsonlines 在数据分析处理以及批量json 处理中是比较常用的，以下是基于jackson 的处理 场景说明 基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

posted @ 2021-09-03 13:08 荣锋亮 阅读(669) 评论(0) 推荐(0)

dremio 18 预览版发布了

摘要： dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供） 新的查询可视化器（需要等待发版体验） 混合类型移除（需要自己手工处理，目前17就有这 阅读全文

posted @ 2021-09-03 09:27 荣锋亮 阅读(65) 评论(0) 推荐(0)

导航