会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
勤为径,苦作舟
博客园
首页
新随笔
联系
订阅
管理
[置顶]
Airflow Comman Line 测试
摘要: 官网文档:https://incubator-airflow.readthedocs.io/en/latest/cli.html clear (1)clear 指定日期某一个dag下的任务,任务名可以用正则表达式匹配 airflow clear dagName -s 2018-09-16 -t ^.
阅读全文
posted @ 2018-09-05 16:03 像我这种两三⑩岁的人
阅读(434)
评论(0)
推荐(0)
[置顶]
在 IDEA中运行 WordCount
摘要: 一、新建一个maven项目 二、pom.xml 中内容 三、准备数据文件 注意点:因为Windows当前用户是 Administrator ,所以需要在 hdfs://master:8020/user/ 目录下创建文件夹 Administrator ,以后进行本地测试都使用此文件夹。 文件夹创建好之
阅读全文
posted @ 2018-05-22 00:52 像我这种两三⑩岁的人
阅读(2306)
评论(1)
推荐(0)
2018年12月9日
airflow1.10时区修改
摘要: https://blog.csdn.net/crazy__hope/article/details/83688986
阅读全文
posted @ 2018-12-09 15:24 像我这种两三⑩岁的人
阅读(1018)
评论(0)
推荐(0)
2018年11月15日
zeppelin中连接hive和impala
摘要: 连接Hive 新建interpreter default.driver = org.apache.hive.jdbc.HiveDriver default.url = jdbc:hive2://hostname:10000 default.user = zeppelin (默认是你们账号:anony
阅读全文
posted @ 2018-11-15 17:33 像我这种两三⑩岁的人
阅读(1739)
评论(0)
推荐(0)
2018年9月18日
Airflow 重跑dag中部分失败的任务
摘要: 重跑dag中部分失败的任务 例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5 ,其中 T1 T2 成功, T3 失败, T4 T5因为依赖 T3,也不会运行。 跳过 T1 T2 重跑 T3 T4 T5 的方法是: (1)点击 T3 clear ,默认会clear T4 T5
阅读全文
posted @ 2018-09-18 20:00 像我这种两三⑩岁的人
阅读(3774)
评论(0)
推荐(0)
2018年9月4日
hive字段名、注释中文显示问号
摘要: hive中文异常
阅读全文
posted @ 2018-09-04 18:22 像我这种两三⑩岁的人
阅读(2973)
评论(0)
推荐(0)
2018年9月3日
Hive 锁处理
摘要: hive有两个锁,共享索(s) 和排它锁(x) 在进行ddl操作时,排他锁会阻止 ddl 操作。drop、alter table 如果一个hive查询使用到了表A,执行时间10分钟。在这10分钟内要drop table A, 就会产生排它锁。 解锁方式1: ps -ef | grep hive ,
阅读全文
posted @ 2018-09-03 10:50 像我这种两三⑩岁的人
阅读(1474)
评论(0)
推荐(0)
2018年8月28日
airflow 笔记
摘要: 首先是一个比较好的英文网站,可能要fq:http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/ py3venv 在 mkdir ~/airflow/py3venv 执行:python3 -m venv ~/
阅读全文
posted @ 2018-08-28 20:36 像我这种两三⑩岁的人
阅读(4183)
评论(0)
推荐(0)
2018年6月8日
Kettle中并行执行测试
摘要: 整个作业截图: 设置并行方法:右键 START 组件,勾选最后一个选项: Run Next Entries In Parallel 设置aa, bb, cc, dd, ee 都是shell脚本,内容都相似如下: 运行结果:
阅读全文
posted @ 2018-06-08 19:05 像我这种两三⑩岁的人
阅读(4999)
评论(0)
推荐(0)
Kettle日志中BootFeaturesInstaller错误
摘要: 到新公司接手了别人的Kettle ETL作业。 发现每次启动 Kettle ,日志中都会出现下面的错误,虽然不影响运行结果,但是看着不爽: 解决方法(公司使用的是 6.1 版本,其他版本没用过): 修改<pdi_home>/system/karaf/etc/org.apache.karaf.feat
阅读全文
posted @ 2018-06-08 18:59 像我这种两三⑩岁的人
阅读(4047)
评论(0)
推荐(1)
2018年6月6日
使用伴生对象创建计数器工具类
摘要: 使用伴生对象创建计数器工具类 输出结果:
阅读全文
posted @ 2018-06-06 00:33 像我这种两三⑩岁的人
阅读(168)
评论(0)
推荐(0)
下一页
公告