第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)

 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
 
命令如下:

sqoop import \
--connect jdbc:mysql://hadoop001:3306/d6_hive \ --连接的mysql库
--username root --password 123456 \ --登陆mysql的用户名和密码
--delete-target-dir \--删除目标目录的已存在表否则跑mapreduce会报错
--table city_info \--mysql里要导入hadoop 的表名
--hive-import \--导入 (这里的导入导出是以hadoop为出发点)
--hive-table city_info \--导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名
--hive-overwrite \--覆盖原来的数据
--fields-terminated-by '\t' \ --字段之间的分隔用tab键
--lines-terminated-by '\n' \--行与行之间用回车键
--split-by city_id \--根据city_id来当作主键进行分割
-m 2--生成两个文件

 解决方法:

往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
然后刷新配置,source /etc/.bash_profile

然后再执行一次一般就可以了。

posted @ 2019-03-18 14:23  任重而道远的小蜗牛  阅读(628)  评论(0编辑  收藏  举报