导航

随笔分类 -  Sqoop

sqoop导出mysql数据进入hive错误

摘要：看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题， 最后去每个节点ping mysql的ip地址，发现root@hslave1:/opt/cm-5.5.1/etc# ping 10.121... 阅读全文

posted @ 2016-03-15 21:00 ggzone 阅读(215) 评论(0) 推荐(0)

sqoop job命令自动生成

摘要：批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文

posted @ 2016-02-27 10:13 ggzone 阅读(935) 评论(0) 推荐(0)

解决sqoop需要输入密码的问题

摘要：修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in the metastore... 阅读全文

posted @ 2016-02-27 09:59 ggzone 阅读(518) 评论(0) 推荐(0)

Sqoop导入mysql数据到Hbase

摘要：sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1101) 评论(2) 推荐(0)

合并 hdfs 文件

摘要：待研究，只做保存将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(559) 评论(0) 推荐(0)

Sqoop实现自定义job的增量导入

摘要：需求：redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入，比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入，导入的时*~8:20的数据，sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文

posted @ 2015-12-05 14:06 ggzone 阅读(758) 评论(0) 推荐(0)

Sqoop增量从MySQL中向hive导入数据

摘要：sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文

posted @ 2015-12-05 13:26 ggzone 阅读(357) 评论(0) 推荐(0)

Sqoop导入MySQL数据

摘要：导入所有表：sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord -m 1 --hive-import;导入一个表：sqoop im... 阅读全文

posted @ 2015-11-22 18:19 ggzone 阅读(1611) 评论(0) 推荐(0)

Sqoop导数据出现的问题

摘要：sqoop导数据卡住在INFO mapreduce.Job: Running job: job_1447835049223_0010 查yarn日志全是：INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capa... 阅读全文

posted @ 2015-11-22 17:54 ggzone 阅读(434) 评论(0) 推荐(0)

sqoop安装

摘要：环境：Hadoop 2.3.0 sqoop 1.4.51、下载并解压sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz (解压完，名字会很长，可以根据需要自己修改下目录名)tar -zxvfsqoop-1.4.5.bin__had... 阅读全文

posted @ 2015-11-22 17:06 ggzone 阅读(323) 评论(0) 推荐(0)