摘要：
官网文档：https://incubator-airflow.readthedocs.io/en/latest/cli.html clear （1）clear 指定日期某一个dag下的任务，任务名可以用正则表达式匹配 airflow clear dagName -s 2018-09-16 -t ^. 阅读全文
摘要：
一、新建一个maven项目 二、pom.xml 中内容 三、准备数据文件 注意点：因为Windows当前用户是 Administrator ，所以需要在 hdfs://master:8020/user/ 目录下创建文件夹 Administrator ，以后进行本地测试都使用此文件夹。 文件夹创建好之 阅读全文
摘要：
https://blog.csdn.net/crazy__hope/article/details/83688986 阅读全文
摘要：
连接Hive 新建interpreter default.driver = org.apache.hive.jdbc.HiveDriver default.url = jdbc:hive2://hostname:10000 default.user = zeppelin (默认是你们账号：anony 阅读全文
摘要：
重跑dag中部分失败的任务 例如 dagA 中， T1 >> T2 >> T3 >> T4 >> T5 ，其中 T1 T2 成功， T3 失败， T4 T5因为依赖 T3，也不会运行。 跳过 T1 T2 重跑 T3 T4 T5 的方法是： （1）点击 T3 clear ，默认会clear T4 T5 阅读全文
摘要：
hive中文异常 阅读全文
摘要：
hive有两个锁，共享索(s) 和排它锁(x) 在进行ddl操作时，排他锁会阻止 ddl 操作。drop、alter table 如果一个hive查询使用到了表A，执行时间10分钟。在这10分钟内要drop table A， 就会产生排它锁。 解锁方式1： ps -ef | grep hive ， 阅读全文
摘要：
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/ py3venv 在 mkdir ~/airflow/py3venv 执行：python3 -m venv ~/ 阅读全文
摘要：
整个作业截图： 设置并行方法：右键 START 组件，勾选最后一个选项： Run Next Entries In Parallel 设置aa, bb, cc, dd, ee 都是shell脚本，内容都相似如下： 运行结果： 阅读全文
摘要：
到新公司接手了别人的Kettle ETL作业。 发现每次启动 Kettle ，日志中都会出现下面的错误，虽然不影响运行结果，但是看着不爽： 解决方法（公司使用的是 6.1 版本，其他版本没用过）： 修改<pdi_home>/system/karaf/etc/org.apache.karaf.feat 阅读全文
摘要：
使用伴生对象创建计数器工具类 输出结果： 阅读全文