随笔分类 -  Sqoop+Flume+Azkaban

Azkaban介绍+安装部署+实战案例
摘要：Azkaban介绍 什么是azkaban？1、工作流的作业调度系统2、通过k、v指令写法描述工作流节点3、可以通过web界面去管理工作流 Azkaban安装部署 2.3.1 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务 阅读全文
posted @ 2019-04-09 23:35 Transkai 阅读(6395) 评论(0) 推荐(0)
Flume 高可用配置案例+load balance负载均衡+ 案例:日志的采集及汇总
摘要：在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： （1）节点分配 Flume的Agent和Collector分布如下表所示： 名称 Ip地址 Host 角色 Agent1 192.168.137.188 hadoop-001 WebServer Co 阅读全文
posted @ 2019-04-07 15:41 Transkai 阅读(911) 评论(0) 推荐(0)
Flume 拦截器(interceptor)详解
摘要：flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 阅读全文
posted @ 2019-04-02 20:23 Transkai 阅读(8337) 评论(0) 推荐(0)
Flume 多个agent串联
摘要：采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联 根据需求，首先定义以下3大要素 第一台flume agent l 采集源，即source——监控文件内容更新 : exec ‘tail -F file’ l 下沉目标 阅读全文
posted @ 2019-03-30 18:26 Transkai 阅读(1293) 评论(0) 推荐(0)
Flume 案例 Telnet安装及采集Telnet发送信息到控制台
摘要：Telnet安装 一、查看本机是否安装telnet #rpm -qa | grep telnet 如果什么都不显示。说明你没有安装telnet 二、开始安装 yum install xinetd yum install telnet yum install telnet-server 三、装好tel 阅读全文
posted @ 2019-03-30 10:35 Transkai 阅读(889) 评论(0) 推荐(0)
Flume 概述+环境配置+监听Hive日志信息并写入到hdfs
摘要：Flume介绍Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本，Flume 0 阅读全文
posted @ 2019-03-19 17:23 Transkai 阅读(1058) 评论(0) 推荐(0)
Sqoop 导入及导出表数据子集命令详解
摘要：Sqoop命令详解 1、import命令 案例1：将mysql表test中的数据导入hive的hivetest表，hive的hivetest表不存在。 sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root - 阅读全文
posted @ 2019-03-19 01:28 Transkai 阅读(1341) 评论(0) 推荐(0)
Sqoop 介绍、安装及环境配置
摘要：一.Sqoop Sqoop介绍 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一般情况下，是将数据分析的结果导出 阅读全文
posted @ 2019-03-18 22:17 Transkai 阅读(3435) 评论(0) 推荐(0)