随笔分类 -  Sqoop

Sqoop一些常用命令及参数
摘要:Sqoop一些常用命令及参数 5.1、常用命令列举 这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码。 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 cod 阅读全文
posted @ 2020-09-14 15:36 架构艺术 阅读(2613) 评论(0) 推荐(0)
Sqoop案例-脚本打包
摘要:脚本打包 使用opt格式的文件打包sqoop命令,然后执行 1) 创建一个.opt文件 $ mkdir opt $ touch opt/job_HDFS2RDBMS.opt 2) 编写sqoop脚本 $ vi opt/job_HDFS2RDBMS.opt export --connect jdbc: 阅读全文
posted @ 2020-09-14 15:34 架构艺术 阅读(194) 评论(0) 推荐(0)
Sqoop案例-导出:HIVE/HDFS到RDBMS
摘要:HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 阅读全文
posted @ 2020-09-14 15:33 架构艺术 阅读(178) 评论(0) 推荐(0)
Sqoop案例-导入:RDBMS到Hive
摘要:$ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 1 \ --hive-impo 阅读全文
posted @ 2020-09-14 15:29 架构艺术 阅读(141) 评论(0) 推荐(0)
Sqoop案例-导入:RDBMS到HDFS
摘要:Sqoop的简单使用案例 4.1.1、RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql> create database company; mysql> create table comp 阅读全文
posted @ 2020-09-14 15:27 架构艺术 阅读(206) 评论(0) 推荐(0)
Sqoop原理基础与安装
摘要:一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。 最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意, 阅读全文
posted @ 2020-09-14 15:23 架构艺术 阅读(240) 评论(0) 推荐(0)