摘要：
1.新建一个java项目 在pom文件中添加依赖，可参考下列pom文件 创建以下代码文件 ②:添加clickhouse Connector 在resource下新建META-INF/services 目录,在此目录下新建com.facebook.presto.spi.Plugin文件,在文件中添加c 阅读全文
摘要：
官网参考地址：https://docs.gethue.com/administrator/configuration/connectors/ presto和clickhouse的配置方式基本一致 presto的配置 进入hue的家目录执行以下命令 ./build/env/bin/pip instal 阅读全文
摘要：
最近对presto进行了升级，目前最新版本是0.233，我们用的是0.177。 升级之前参考了一下别人的博客，在官网没有找到关于升级的消息 其中博客主要参考是：https://www.jianshu.com/p/caf14b656107 思路是采取的这个，但是方法不是这样的 1.准备包（三个节点上都 阅读全文
摘要：
今天测试的airflow的web界面开始不正常报错例如这种情况 参考的小伙伴注意要看清楚前提，是我们的airflow本来运行的好好的，突然不行了，不是好没有搭建起来就这样。（如果你是没有搭建好报这个错，基本上是你的web没弄好） 或者出现这种突然所有的任务代码都不在了的情况，时好时坏 去排查日志发现 阅读全文
摘要：
Airflow本身是一个综合平台，它兼容多种组件，所以在使用的时候有多种方案可以选择。比如最关键的执行器就有四种选择: SequentialExecutor：单进程顺序执行任务，默认执行器，通常只用于测试 LocalExecutor：多进程本地执行任务 CeleryExecutor：分布式调度，生产 阅读全文
摘要：
网上有很多关于dashboard的部署，但是可能是时间太久远了，yaml文件运行之后不是镜像拉不下来就是各种运行报错，经过了多番尝试，我找到了一个比较合适的yaml分享给大家。 这个dashboard的namespace是用的kubernetes-dashboard，如果你你想改成kube-syst 阅读全文
摘要：
shell脚本模板 #!/bin/bash source ~/.bash_profile logfile=/tmp/rsync_dags.log time=$(date "+%Y-%m-%d %H:%M:%S") webhook='https://oapi.dingtalk.com/robot/se 阅读全文
摘要：
历时一个星期的讨论与开发，终于得出了一个合并小文件的雏形。 作为一个开发新生代，实属不易，发布出来与大家共勉。 思路： 这个思路是我与一个大佬一起完成的。接到合并小文件的任务以后，我们开始再网上各种找资料，跟朋友沟通学习。其中在网上找到了一篇博客写的很好： https://www.cnblogs.c 阅读全文
摘要：
历时2天半，完成了从获取数据到清洗数据到最终的展示过程。 需求：hive中有很多表，他们的存储量很大，磁盘吃紧，为了以后能清楚的看到hive库中最大的10张表，所以需要做一个展示。 整理思路： 获取数据的途径：使用hadoop fs -du -s -h 表的绝对路径 为了后期开发简单，所以就把获取的 阅读全文
摘要：
今天生产上有一个磁盘满了 就是下图中红框标记的60%，这是解决之后的截图在解决之前，是100%的。 出现了上述情况，我总结了一个自己的解决思路 1.从图中可以看出，这个/dev/vda1磁盘对应的目录是 / 根目录，我们可以看到这各磁盘下有63个G，使用了100%，那一定是根目录下有哪个文件夹格外大 阅读全文