摘要：
官网文档：https://incubator-airflow.readthedocs.io/en/latest/cli.html clear （1）clear 指定日期某一个dag下的任务，任务名可以用正则表达式匹配 airflow clear dagName -s 2018-09-16 -t ^. 阅读全文
posted @ 2018-09-05 16:03
像我这种两三⑩岁的人
阅读(434)
评论(0)
推荐(0)
摘要：
一、新建一个maven项目 二、pom.xml 中内容 三、准备数据文件 注意点：因为Windows当前用户是 Administrator ，所以需要在 hdfs://master:8020/user/ 目录下创建文件夹 Administrator ，以后进行本地测试都使用此文件夹。 文件夹创建好之 阅读全文
posted @ 2018-05-22 00:52
像我这种两三⑩岁的人
阅读(2306)
评论(1)
推荐(0)
摘要：
https://blog.csdn.net/crazy__hope/article/details/83688986 阅读全文
posted @ 2018-12-09 15:24
像我这种两三⑩岁的人
阅读(1018)
评论(0)
推荐(0)
摘要：
连接Hive 新建interpreter default.driver = org.apache.hive.jdbc.HiveDriver default.url = jdbc:hive2://hostname:10000 default.user = zeppelin (默认是你们账号：anony 阅读全文
posted @ 2018-11-15 17:33
像我这种两三⑩岁的人
阅读(1739)
评论(0)
推荐(0)
摘要：
重跑dag中部分失败的任务 例如 dagA 中， T1 >> T2 >> T3 >> T4 >> T5 ，其中 T1 T2 成功， T3 失败， T4 T5因为依赖 T3，也不会运行。 跳过 T1 T2 重跑 T3 T4 T5 的方法是： （1）点击 T3 clear ，默认会clear T4 T5 阅读全文
posted @ 2018-09-18 20:00
像我这种两三⑩岁的人
阅读(3774)
评论(0)
推荐(0)
摘要：
hive中文异常 阅读全文
posted @ 2018-09-04 18:22
像我这种两三⑩岁的人
阅读(2973)
评论(0)
推荐(0)
摘要：
hive有两个锁，共享索(s) 和排它锁(x) 在进行ddl操作时，排他锁会阻止 ddl 操作。drop、alter table 如果一个hive查询使用到了表A，执行时间10分钟。在这10分钟内要drop table A， 就会产生排它锁。 解锁方式1： ps -ef | grep hive ， 阅读全文
posted @ 2018-09-03 10:50
像我这种两三⑩岁的人
阅读(1474)
评论(0)
推荐(0)
摘要：
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/ py3venv 在 mkdir ~/airflow/py3venv 执行：python3 -m venv ~/ 阅读全文
posted @ 2018-08-28 20:36
像我这种两三⑩岁的人
阅读(4183)
评论(0)
推荐(0)
摘要：
整个作业截图： 设置并行方法：右键 START 组件，勾选最后一个选项： Run Next Entries In Parallel 设置aa, bb, cc, dd, ee 都是shell脚本，内容都相似如下： 运行结果： 阅读全文
posted @ 2018-06-08 19:05
像我这种两三⑩岁的人
阅读(4999)
评论(0)
推荐(0)
摘要：
到新公司接手了别人的Kettle ETL作业。 发现每次启动 Kettle ，日志中都会出现下面的错误，虽然不影响运行结果，但是看着不爽： 解决方法（公司使用的是 6.1 版本，其他版本没用过）： 修改<pdi_home>/system/karaf/etc/org.apache.karaf.feat 阅读全文
posted @ 2018-06-08 18:59
像我这种两三⑩岁的人
阅读(4047)
评论(0)
推荐(1)
摘要：
使用伴生对象创建计数器工具类 输出结果： 阅读全文
posted @ 2018-06-06 00:33
像我这种两三⑩岁的人
阅读(168)
评论(0)
推荐(0)
浙公网安备 33010602011771号