随笔分类 -  sqoop

crontab调用sqoop失败
摘要：背景：由于业务需求，数据需要每天从mysql >hive同步，考虑到资源占用情况，暂定凌晨业务空闲时执行定时任务 方法：1>通过sqoop创建增量写入数据的job，每晚定时执行【pass掉了，因为hive中数据文件格式为压缩snappy类型，presto连接后查询报错】 2>通过kettle先查讯h 阅读全文
posted @ 2021-05-20 09:33 天宇星空 阅读(198) 评论(0) 推荐(0)
sqoop ORC格式数据导入报错
摘要：Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/hive/warehouse/erp_produ 阅读全文
posted @ 2021-01-06 11:10 天宇星空 阅读(439) 评论(0) 推荐(0)
sqoop-1.4.7 搭建
摘要：sqoop搭建环境： jdk1.8 hadoop分布式集群（HDFS） HIVE（看使用情况） 下载网址：http://sqoop.apache.org/ 建议： sqoop1.4.4版本，线上使用比较好，网上相关文档也多 （推介线上使用） sqoop1.99.7版本，创建job方式规范化，但网上资 阅读全文
posted @ 2018-11-22 17:34 天宇星空 阅读(687) 评论(0) 推荐(0)
sqoop执行job报错（org/json/JSONObject）
摘要：NoClassDefFoundError: org/json/JSONObject： [root@hadoop2 ~]# sqoop job --create myjob7 -- import --connect jdbc:mysql://192.168.122.15:3306/company -- 阅读全文
posted @ 2018-11-22 13:44 天宇星空 阅读(2343) 评论(0) 推荐(0)
sqoop数据导入命令 (sql---hdfs）
摘要：mysql >hdfs sqoop导入数据工作流程： sqoop提交任务到hadoop >hadoop启动mapreduce >mapreduce通过指定参数到表中获取导入的数据 >MapReduce将需导入的数据导入到HDFS中 1.全表导入： mysql >hdfs sqoop import - 阅读全文
posted @ 2018-11-22 10:25 天宇星空 阅读(3760) 评论(0) 推荐(0)
sqoop mysql--->hive 报错 （ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf）
摘要：ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf sqoop从mysql导入到hive报错 阅读全文
posted @ 2018-11-22 09:04 天宇星空 阅读(1566) 评论(0) 推荐(0)
sqoop导数据到hive报错
摘要：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. [root@hadoop1 conf]# sqoop impor 阅读全文
posted @ 2018-11-15 17:08 天宇星空 阅读(536) 评论(0) 推荐(0)
sqoop2启动job报错
摘要：set option --name verbose --value true #打开报错详情输出 Exception has occurred during processing command Exception: org.apache.sqoop.common.SqoopException Me 阅读全文
posted @ 2018-11-14 11:03 天宇星空 阅读(1164) 评论(0) 推荐(0)
sqoop2启动client异常
摘要：java环境： java version "10.0.1" ,启动sqoop-shell端或者是sqoop-client端异常，异常如下： [root@hadoop1 home]# sqoop2-shell Setting conf dir: /home/sqoop-1.99.7/bin/../co 阅读全文
posted @ 2018-11-13 14:19 天宇星空 阅读(699) 评论(0) 推荐(0)