05 2017 档案

Azkaban工作流调度器（1）--azkaban的安装
摘要：一、准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装 阅读全文
posted @ 2017-05-09 11:04 tiantian2012 阅读(209) 评论(0) 推荐(0)
flume总结（2）--多级agent串联
摘要：一、简介： 根据上面的定义，我们模拟如下的流程：（arvo，一种网络字节流传输规范） 二、从tail命令获取数据发送到avro端口(mini1机器)另一个节点可配置一个avro源来中继数据，发送外部存储 tail-avro.conf: 三、从avro端口接收数据，下沉到logger（mini02机器 阅读全文
posted @ 2017-05-08 16:54 tiantian2012 阅读(363) 评论(0) 推荐(0)
Flume总结（1）--单个agent采集的基本配置
摘要：一、日志采集：从网络端口接收数据，下沉到logger 文件netcat-logger.conf: 启动命令：#告诉flum启动一个agent,指定配置参数, --name:agent的名字,flume-ng agent --conf conf --conf-file conf/netcat-logg 阅读全文
posted @ 2017-05-08 14:52 tiantian2012 阅读(1724) 评论(0) 推荐(0)