摘要：需求: 将hdfs上数据文件 user.txt 导入到mysql数据库的user表中。 1、创建作业的配置文件（json格式） 查看配置模板，执行脚本命令 [hadoop@hadoop03 ~]$ cd /bigdata/install/datax [hadoop@hadoop03 datax]$ 阅读全文

摘要：需求: 将mysql表student的数据导入到hdfs的 /datax/mysql2hdfs/ 路径下面去。 1、创建mysql数据库和需要用到的表结构，并导入实战案例需要用到的数据 [hadoop@hadoop02 ~] mysql -uroot -p123456 mysql> create d 阅读全文

摘要：安装前置要求 Linux 使用Centos7 JDK ( 1.8 以上 ) Python ( 2.6 以上 ) Centos7 默认安装了Python 2.7 1、访问官网下载安装包 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax 阅读全文

摘要：1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，致力于实现包括：关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的 阅读全文