数据采集工具

目录

• 数据采集工具
  • 数据采集工具分类
  • Flume
  • Sqoop
  • DataX
  • Canal

数据采集工具

1. Flume
2. Sqoop
3. DataX
4. Canal

数据采集工具分类

离线采集（批量采集）

1、Sqoop
2、DataX

实时采集(增量采集)

1、Flume
2、Canal

Flume

一般直接对接 Kafka

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

1. 分布式：flume分布式集群部署，扩展性好。

2. 可靠性好: 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。

3. 易用性：flume配置使用较繁琐，对使用人员专业技术要求非常高。

4. 实时采集：flume采集流模式进行数据实时采集。

5. 适用场景：适用于日志文件实时采集。

Sqoop

Apache开源软件，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递。

1. 数据吞吐量大：依赖hadoop集群可进行大批量数据集成。

   因为 Sqoop 的底层是 MapReduce

2. 操作有技术要求：sqoop操作没有可视化设计器，对使用人员有较专业的技术要求。

3. 多种交互方式：命令行，web UI，rest API。

4. 部署不方便：sqoop依赖大数据集群，使用sqoop要求数据传输的的源要与大数据集群的所有节点能进行通信。

5. 适用场景：适用于能与大数据集群直接通信的关系数据库间的大批量数据传输。

DataX

是阿里开源软件异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
易用性：以执行脚本方式运行，对使用人员技术要求较高。

性能：数据抽取性能高。

部署：可独立部署

适用场景：在异构数据库/文件系统之间高速交换数据。

Canal

canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
canal的数据同步不是全量的，而是增量。基于binary log增量订阅和消费，canal可以做：

1. 数据库镜像
2. 数据库实时备份
3. 索引构建和实时维护
4. 业务cache(缓存)刷新
5. 带业务逻辑的增量数据处理