摘要：
场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- 阅读全文
posted @ 2018-11-30 14:10
天宇星空
阅读(5242)
评论(0)
推荐(0)
摘要：
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfN 阅读全文
posted @ 2018-11-27 13:24
天宇星空
阅读(6789)
评论(0)
推荐(0)
摘要：
sqoop搭建环境： jdk1.8 hadoop分布式集群（HDFS） HIVE（看使用情况） 下载网址：http://sqoop.apache.org/ 建议： sqoop1.4.4版本，线上使用比较好，网上相关文档也多 （推介线上使用） sqoop1.99.7版本，创建job方式规范化，但网上资 阅读全文
posted @ 2018-11-22 17:34
天宇星空
阅读(685)
评论(0)
推荐(0)
摘要：
NoClassDefFoundError: org/json/JSONObject： [root@hadoop2 ~]# sqoop job --create myjob7 -- import --connect jdbc:mysql://192.168.122.15:3306/company -- 阅读全文
posted @ 2018-11-22 13:44
天宇星空
阅读(2340)
评论(0)
推荐(0)
摘要：
mysql >hdfs sqoop导入数据工作流程： sqoop提交任务到hadoop >hadoop启动mapreduce >mapreduce通过指定参数到表中获取导入的数据 >MapReduce将需导入的数据导入到HDFS中 1.全表导入： mysql >hdfs sqoop import - 阅读全文
posted @ 2018-11-22 10:25
天宇星空
阅读(3753)
评论(0)
推荐(0)
摘要：
ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf sqoop从mysql导入到hive报错 阅读全文
posted @ 2018-11-22 09:04
天宇星空
阅读(1560)
评论(0)
推荐(0)
摘要：
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. [root@hadoop1 conf]# sqoop impor 阅读全文
posted @ 2018-11-15 17:08
天宇星空
阅读(534)
评论(0)
推荐(0)
摘要：
当我们输入./schematool -initSchema -dbType mysql的时候，会出现以下错误 Metastore connection URL: jdbc:mysql://192.168.*./hive?createDatabaseIfNotExist=true Metastore 阅读全文
posted @ 2018-11-14 16:53
天宇星空
阅读(852)
评论(0)
推荐(0)
摘要：
set option --name verbose --value true #打开报错详情输出 Exception has occurred during processing command Exception: org.apache.sqoop.common.SqoopException Me 阅读全文
posted @ 2018-11-14 11:03
天宇星空
阅读(1162)
评论(0)
推荐(0)
摘要：
java环境： java version "10.0.1" ,启动sqoop-shell端或者是sqoop-client端异常，异常如下： [root@hadoop1 home]# sqoop2-shell Setting conf dir: /home/sqoop-1.99.7/bin/../co 阅读全文
posted @ 2018-11-13 14:19
天宇星空
阅读(697)
评论(0)
推荐(0)
浙公网安备 33010602011771号