随笔分类 -  airflow

5.airflow问题
摘要：1. Traceback (most recent call last): File "/usr/bin/airflow", line 28, in args.func(args) File "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", line 858, in serve_logs host='0.0.0... 阅读全文

posted @ 2017-08-31 00:16 月饼馅饺子 阅读(1422) 评论(0) 推荐(0)

3.Airflow使用
摘要：1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概念2.2.1. dag2.2.2.task2.2.3.Operator2.2.4 scheduler2.2.5.worker2.2.6.executor2.2.7.Task Instances2.2.... 阅读全文

posted @ 2017-08-31 00:14 月饼馅饺子 阅读(21249) 评论(0) 推荐(6)

4.airflow测试
摘要：1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结 当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试. 本次测试的表是airflow.code_library. 1.测试sqoop任务 1... 阅读全文

posted @ 2017-08-31 00:14 月饼馅饺子 阅读(3212) 评论(0) 推荐(0)

2.airflow参数简介
摘要：比较重要的参数： 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folder /home/airflow/airflow01/dags dag python文件目录 base_log_folder /home... 阅读全文

posted @ 2017-08-31 00:13 月饼馅饺子 阅读(7652) 评论(0) 推荐(0)

1.airflow的安装
摘要：1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele... 阅读全文

posted @ 2017-08-31 00:13 月饼馅饺子 阅读(13188) 评论(0) 推荐(1)

导航