摘要：
需求: 将mysql表student的数据导入到hdfs的 /datax/mysql2hdfs/ 路径下面去。 1、创建mysql数据库和需要用到的表结构，并导入实战案例需要用到的数据 [hadoop@hadoop02 ~] mysql -uroot -p123456 mysql> create d 阅读全文
posted @ 2021-06-19 00:03
Tenic
阅读(1962)
评论(1)
推荐(0)
摘要：
安装前置要求 Linux 使用Centos7 JDK ( 1.8 以上 ) Python ( 2.6 以上 ) Centos7 默认安装了Python 2.7 1、访问官网下载安装包 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax 阅读全文
posted @ 2021-06-18 23:45
Tenic
阅读(567)
评论(0)
推荐(0)
摘要：
1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，致力于实现包括：关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的 阅读全文
posted @ 2021-06-18 23:39
Tenic
阅读(1710)
评论(0)
推荐(0)
摘要：
将数据从HDFS把文件导出到RDBMS数据库 导出前，目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中 更新模式下，是生成UPDATE语句更新表数据 数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下 1201,gopal,manager,500 阅读全文
posted @ 2021-06-18 00:10
Tenic
阅读(224)
评论(0)
推荐(0)
摘要：
1. 列举出所有的数据库 命令行查看帮助 sqoop help 列出hadoop02主机所有的数据库 sqoop list-databases --connect jdbc:mysql://hadoop02:3306/ --username root --password 123456 查看某一个数 阅读全文
posted @ 2021-06-18 00:03
Tenic
阅读(177)
评论(0)
推荐(0)
摘要：
第一步：下载安装包 https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7 第二步：上传并解压 将我们下载好的安装包上传到hadoop03服务器的/bigdata/soft路径下，然后进行解压 cd /bigdata/soft/ tar -xzvf sqoop- 阅读全文
posted @ 2021-06-17 23:27
Tenic
阅读(111)
评论(0)
推荐(0)
摘要：
1. 概述 Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具 导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统 导出数据：从Hadoop的文件系统中导出数据到关系数据库 2. Sqoop的工作机制 将导入和导出 阅读全文
posted @ 2021-06-17 23:17
Tenic
阅读(238)
评论(0)
推荐(0)
摘要：
官方安装指导：https://dolphinscheduler.apache.org/zh-cn/docs/1.3.4/user_doc/quick-start.html 1节点规划 机器 服务 端口 group hadoop01 master、api、logger 8787(master)、888 阅读全文
posted @ 2021-06-17 22:29
Tenic
阅读(3461)
评论(1)
推荐(0)
摘要：
1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统， 其致力于解决数据处理流程中错综复杂的依赖关系，使 阅读全文
posted @ 2021-06-17 21:41
Tenic
阅读(1320)
评论(0)
推荐(0)
摘要：
我们在上一篇文章中已经安装部署了Azkaban，但是启动的时候要去每个机器上执行一下命令。来回切换机器太麻烦，今天我们输出一个脚本，搞定自动启动停止。 1 登录到hadoop01上，在~/bin 目录下创建一个azkaban.sh脚本 [hadoop@hadoop01 ~] cd bin [hado 阅读全文
posted @ 2021-06-16 23:11
Tenic
阅读(1018)
评论(0)
推荐(0)
浙公网安备 33010602011771号