2017年8月31日

OGG 问题

摘要： 1.启动复制时报"ERROR OGG-15050 Oracle GoldenGate Delivery, l***.prm: Error loading Java VM runtime library: (2 No such file or directory)."设置环境变量LD_LIBRARY_PATH,然后重启mgr,再启动rhdfs.如果不重启mgr直接启动rhdfs,则会报这个错2. 对... 阅读全文

posted @ 2017-08-31 00:20 月饼馅饺子 阅读(1674) 评论(0) 推荐(0)

OGG 跳过事务(转)

摘要： http://blog.chinaunix.net/uid-26190993-id-3434074.html 在OGG运行过程中，通常会因为各种各样的原因导致容灾端的REPLICAT进程ABENDED掉，这个时候需要通过分析ggserr.log , DISCARDFILE , REPLICAT REPORT ,以及借助 Logdump 等工具去定位错误。在具体的应用场景下，通过分析排查，有些... 阅读全文

posted @ 2017-08-31 00:20 月饼馅饺子 阅读(980) 评论(0) 推荐(0)

flume handler

摘要： 1.classpathclasspath中需要这两项：Flume Agent configuration file and the second are the Flume client jars (flume 代理配置和flume 客户端jar).OGG flume handler使用前者解析主机、端口、连接类型等 。实际上，只需要加入dirprm这个目录和flume_home/lib下即可以2... 阅读全文

posted @ 2017-08-31 00:19 月饼馅饺子 阅读(545) 评论(0) 推荐(0)

HDFS handler

摘要： http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-3D686C3C0EC0.htm#GADBD-GUID-EE2D45B1-11E6-4B2E-B91F-2FB49F90900A 1.hive support12.2取消了hive handler，因为hdfs handler已经提供了... 阅读全文

posted @ 2017-08-31 00:18 月饼馅饺子 阅读(1006) 评论(0) 推荐(0)

kafka handler

摘要： 1.配置kafka 参数文件在ogg主目录下有示例文件:[root@WH0PRDBRP00AP0013 ogg]# cd AdapterExamples/big-data/kafka/[root@WH0PRDBRP00AP0013 kafka]# lscustom_kafka_producer.properties kafka.props rkafka.prmcustom_kafka_prod... 阅读全文

posted @ 2017-08-31 00:18 月饼馅饺子 阅读(1620) 评论(0) 推荐(0)

OGG FOR BIGDATA 安装(修正)

摘要： 参考:http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/toc.htm一、环境介绍源：centos6.5 oracle 11.20.4 OGG版本：12.2.0.1.1目标：OGG 版本Version 12.2.0.1二、配置源端数据库1.1 创建OGG用户并授权create user ggmgr identified by ggmgr ... 阅读全文

posted @ 2017-08-31 00:17 月饼馅饺子 阅读(1979) 评论(0) 推荐(0)

5.airflow问题

摘要： 1. Traceback (most recent call last): File "/usr/bin/airflow", line 28, in args.func(args) File "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", line 858, in serve_logs host='0.0.0... 阅读全文

posted @ 2017-08-31 00:16 月饼馅饺子 阅读(1418) 评论(0) 推荐(0)

4.airflow测试

摘要： 1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结 当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试. 本次测试的表是airflow.code_library. 1.测试sqoop任务 1... 阅读全文

posted @ 2017-08-31 00:14 月饼馅饺子 阅读(3208) 评论(0) 推荐(0)

3.Airflow使用

摘要： 1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概念2.2.1. dag2.2.2.task2.2.3.Operator2.2.4 scheduler2.2.5.worker2.2.6.executor2.2.7.Task Instances2.2.... 阅读全文

posted @ 2017-08-31 00:14 月饼馅饺子 阅读(21220) 评论(0) 推荐(6)

2.airflow参数简介

摘要： 比较重要的参数： 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folder /home/airflow/airflow01/dags dag python文件目录 base_log_folder /home... 阅读全文

posted @ 2017-08-31 00:13 月饼馅饺子 阅读(7642) 评论(0) 推荐(0)

1.airflow的安装

摘要： 1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele... 阅读全文

posted @ 2017-08-31 00:13 月饼馅饺子 阅读(13162) 评论(0) 推荐(1)

KETTLE元数据表

摘要： 表名 说明 R_CLUSTER R_CLUSTER_SLAVE R_CONDITION R_DATABASE 数据库连接信息 R_DATABASE_ATTRIBUTE 数据库属性 R_DATABASE_CONTYPE 连接类型:Native (JDBC) JDBC等 R_DATABASE_TYPE... 阅读全文

posted @ 2017-08-31 00:11 月饼馅饺子 阅读(1136) 评论(0) 推荐(0)

KETTLE设置变量

摘要： 一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数，... 阅读全文

posted @ 2017-08-31 00:09 月饼馅饺子 阅读(6749) 评论(0) 推荐(0)

KETTLE监控

摘要： kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。一、集群自带的监控kettle自带的集群监控工具可以监控转换的执行情况。配置好集群后，打开浏览器：输入http://localhost:8080，输入子服务器的用户名和密码进入后，点击show status：点击转换名称可以看到转换的详情：该方式有三个缺点：(1)无法监控job的执行情况。(2)另外，如果一个转换不使用集群执行，也... 阅读全文

posted @ 2017-08-31 00:09 月饼馅饺子 阅读(2013) 评论(0) 推荐(0)

KETTLE集群搭建

摘要： KETTLE集群搭建 说明：本文档基于kettle5.4 一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完... 阅读全文

posted @ 2017-08-31 00:08 月饼馅饺子 阅读(462) 评论(0) 推荐(0)

KETTLE并行

摘要： 1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, we suggest you wrap up the parallel work in a separ... 阅读全文

posted @ 2017-08-31 00:07 月饼馅饺子 阅读(979) 评论(0) 推荐(0)

KETTLE：mongdb与mysql互传数据

摘要： 注：部分内容引用了 http://blog.sina.com.cn/s/blog_4ac9f56e0101g881.html1、mongodb传数据到mysql1)在kettle中，mongodb input组件。2)编辑组件输入连接信息选择数据库写查询语句选择字段。上面的复选框选择是否输入json格式，这时不选。点击get fileds，获取字段对应关系。$代表根目录.代表子目录[]代表数组中的... 阅读全文

posted @ 2017-08-31 00:06 月饼馅饺子 阅读(1265) 评论(0) 推荐(0)

导航