摘要：@(flume) flume简介 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由**事件(Even 阅读全文

摘要：@(DataX) DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之 阅读全文

摘要：@(FlinkX) FlinkX的安装与简单使用 @ FlinkX的安装 安装unzip：yum install unzip 1、上传并解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 2、配置环境变量 3、给bin/flinkx这个文件加上执行权限 chmo 阅读全文

摘要：数据集成/采集/同步工具 (数据集成工具—Sqoop) Sqoop简介 sqoop将关系型数据库（mysql、oracle等）数据与hadoop数据进行转换的工具。 sqoop1.4.x与sqoop1.99.x完全不兼容 Sqoop安装 安装包资源主页自取 1、上传并解压 tar -zxvf sqo 阅读全文