摘要： KETTLE集群搭建 说明：本文档基于kettle5.4 一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完... 阅读全文

摘要： 1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, we suggest you wrap up the parallel work in a separ... 阅读全文

摘要： 注：部分内容引用了 http://blog.sina.com.cn/s/blog_4ac9f56e0101g881.html1、mongodb传数据到mysql1)在kettle中，mongodb input组件。2)编辑组件输入连接信息选择数据库写查询语句选择字段。上面的复选框选择是否输入json格式，这时不选。点击get fileds，获取字段对应关系。$代表根目录.代表子目录[]代表数组中的... 阅读全文

摘要： azkaban自带的监控flow自带的邮件功能SLA总结写程序监控job情况监控azkaban的元数据库使用azkaban API监控总结 azkaban自带的监控 azkban目前仅仅支持邮件监控,又分两个部分: flow自带的邮件功能 First failure 当flow中出现第一个failure时发邮件 Flow finished 在flow执行完后,有错误再出邮件 ... 阅读全文

摘要： 测试目标 azkaban多executor下flow的分配方式 azkaban可以同时执行的flow\job个数 azkaban单个job最小使用的内存 相关配置 executor最大线程数: executor.maxThreads=50 executor同时执行的flow最大数 executor.flow.threads =30 executor每个flow最多同时执行的job数 ... 阅读全文

摘要： 权限简介 user 登录azkaban的用户 注意,如果不给用户roles groups,则用户就是普通用户,只能创建\查看\执行\调度自己的任务,不能看别人的 group group:用户的集合,给该group赋权限或者role,则组内用户都有该权限 权限 azkaban有 以下几种权限: 注意,这些权限都是ANY,即能对别人进行操作 role role:一组权限的集合,... 阅读全文

摘要： 1.下载azkaban的源码 https://github.com/azkaban/azkaban.git 然后解压得到azkaban-master.zip,解压:unzip azkaban-master.zip 2.编译源码 进入azkaban-master目录,执行 # Build Azkaban ./gradlew build # Clean the build ./gradle... 阅读全文

摘要： 安装规划安装azkban1.安装配置数据库2.下载安装web server3.安装mulit executor4.安装azkaban插件AZKABAN参数安装出现的问题 安装规划 IP 角色 端口 10.31.1.88 azkaban web server https://10.31.1.88:8443 http://10.31.1.88:8081 ... 阅读全文

摘要： Cgroups可以控制linux 上应用程序的资源(内存、CPU)使用，yarn可以使用Cgroups来CPU使用。Cgroups的配置，在yarn-site.xml中设置：1)启用Cgroups:Configuration NameDescriptionyarn.nodemanager.container-executor.classThis should be set to “org.... 阅读全文

摘要： yarn 服务注册功能是让长期运行的程序注册为服务一直运行。yarn中运行的程序分为两类，一类是短程序，一类一直运行的长程序.第二种也称为服务。yarn服务注册就是让应用程序能把自己注册为服务，如hbase本节是比较高级，以后再研究~来自为知笔记(Wiz) 阅读全文