随笔分类 -  调度

调度介绍
摘要:调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 阅读全文

posted @ 2020-01-26 20:44 锋锋2019 阅读(98) 评论(0) 推荐(0)

airflow脚本
摘要:airflow-1脚本:*/2 * * * * /bin/sh /hongfeng/script/rsynce_airflow_log.sh >/dev/null 2>&1*/4 * * * * /bin/sh /hongfeng/script/monitor_scheduler.sh >/dev/ 阅读全文

posted @ 2020-01-14 14:48 锋锋2019 阅读(356) 评论(0) 推荐(0)

普通帐号起airflow-阿里云
该文被密码保护。

posted @ 2019-12-09 10:52 锋锋2019 阅读(11) 评论(0) 推荐(0)

supervisor管理airflow
摘要:#用airflow帐号 su - airflow. /home/airflow/venv/bin/activatepip install supervisormkdir -p /home/airflow/venv/etc拷贝G:\文档\大数据\airflow\ali-supervisord.conf 阅读全文

posted @ 2019-12-06 11:49 锋锋2019 阅读(423) 评论(0) 推荐(0)

airflow迁移
摘要:airflow迁移:airflow.cfg文件可以copydbinit时改数据参数 #airflow震乾源码copy:/data/venv/lib/python3.6/site-packages/airflow 装impala:把生产库导到新aiflow 阅读全文

posted @ 2019-12-05 17:10 锋锋2019 阅读(457) 评论(0) 推荐(0)

最早airflow.cfg
该文被密码保护。

posted @ 2019-11-30 10:43 锋锋2019 阅读(10) 评论(0) 推荐(0)

airflow_failover启动scheduler
摘要:参考: https://github.com/teamclairvoyant/airflow-scheduler-failover-controller 1.stop failover2.stop scheduler3.clear failover meta4.start failover #启动m 阅读全文

posted @ 2019-11-13 16:49 锋锋2019 阅读(667) 评论(0) 推荐(0)

airflow的web任务管理
摘要:ariflow里绿的代表都跑完了:红的表示有问题:点红的图标进去: 点tree view 红色表示那一天失败: 点进去看可以看log: 点clear则是重跑任务: 阅读全文

posted @ 2019-11-13 11:16 锋锋2019 阅读(622) 评论(0) 推荐(0)

airflow原理
摘要:官网: http://airflow.apache.org/installation.html 原理: https://www.cnblogs.com/cord/p/9450910.html 原理介绍: DAG:有向无环图,有方向但没有循环 airflow 的守护进程airflow 系统在运行时有许 阅读全文

posted @ 2019-11-13 10:52 锋锋2019 阅读(1612) 评论(0) 推荐(0)

airflow代码解释
该文被密码保护。

posted @ 2019-08-28 19:00 锋锋2019 阅读(5) 评论(0) 推荐(0)

airflow部署
摘要:官网: http://airflow.apache.org/installation.html https://github.com/apache/airflow 原理: https://www.cnblogs.com/cord/p/9450910.html 安装: https://www.cnbl 阅读全文

posted @ 2019-08-21 18:39 锋锋2019 阅读(1559) 评论(0) 推荐(0)

导航