摘要： 1.配置kafka 参数文件在ogg主目录下有示例文件:[root@WH0PRDBRP00AP0013 ogg]# cd AdapterExamples/big-data/kafka/[root@WH0PRDBRP00AP0013 kafka]# lscustom_kafka_producer.properties kafka.props rkafka.prmcustom_kafka_prod... 阅读全文

摘要： 参考:http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/toc.htm一、环境介绍源：centos6.5 oracle 11.20.4 OGG版本：12.2.0.1.1目标：OGG 版本Version 12.2.0.1二、配置源端数据库1.1 创建OGG用户并授权create user ggmgr identified by ggmgr ... 阅读全文

摘要： 1. Traceback (most recent call last): File "/usr/bin/airflow", line 28, in args.func(args) File "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", line 858, in serve_logs host='0.0.0... 阅读全文

摘要： 1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结 当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试. 本次测试的表是airflow.code_library. 1.测试sqoop任务 1... 阅读全文

摘要： 1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概念2.2.1. dag2.2.2.task2.2.3.Operator2.2.4 scheduler2.2.5.worker2.2.6.executor2.2.7.Task Instances2.2.... 阅读全文

摘要： 比较重要的参数： 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folder /home/airflow/airflow01/dags dag python文件目录 base_log_folder /home... 阅读全文

摘要： 1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele... 阅读全文

摘要： 表名 说明 R_CLUSTER R_CLUSTER_SLAVE R_CONDITION R_DATABASE 数据库连接信息 R_DATABASE_ATTRIBUTE 数据库属性 R_DATABASE_CONTYPE 连接类型:Native (JDBC) JDBC等 R_DATABASE_TYPE... 阅读全文

摘要： kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。一、集群自带的监控kettle自带的集群监控工具可以监控转换的执行情况。配置好集群后，打开浏览器：输入http://localhost:8080，输入子服务器的用户名和密码进入后，点击show status：点击转换名称可以看到转换的详情：该方式有三个缺点：(1)无法监控job的执行情况。(2)另外，如果一个转换不使用集群执行，也... 阅读全文

摘要： 一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数，... 阅读全文