2020年2月24日
sqoop从mysql导入数据到hive
摘要： 针对全量导入，先来个常用配置： ./sqoop import -m 1 --outdir /home/hadoop/bigdata/sqoop/outdir --connect jdbc:mysql://hupz.cn:3306/dispy_stg2?characterEncoding=UTF-8 阅读全文
posted @ 2020-02-24 18:35 最爱番茄炒蛋 阅读(404) 评论(0) 推荐(0)
sqoop 报 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR 的解决方法
摘要： Sqoop导入mysql表中的数据到hive，出现如下错误： ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 将 阅读全文
posted @ 2020-02-24 16:41 最爱番茄炒蛋 阅读(784) 评论(0) 推荐(0)
sqoop运行时提示内存不足的解决办法
摘要： 得知mapreduce的运行内存不足，主要为这一段 Diagnostics: Container [pid=13688,containerID=container_e07_1533215502568_0002_02_000001] is running beyond physical memory 阅读全文
posted @ 2020-02-24 16:39 最爱番茄炒蛋 阅读(1613) 评论(0) 推荐(0)
uwsgi 常用操作
摘要： 使用uwsgi，需要先配置ini文件，参考如下： [uwsgi] #http = 127.0.0.1:8020 # 当使用nginx使用http协议转发时，使用该配置 uwsgi-socket = 127.0.0.1:8020 #默认使用uwsgi协议时，使用该配置 chdir = /home/ww 阅读全文
posted @ 2020-02-24 16:35 最爱番茄炒蛋 阅读(395) 评论(0) 推荐(0)
HVIE、HDFS常用操作
摘要： 建库 create database ods; 建表 create table ods.employee ( eud int, name String, salary String, destination String ) COMMENT 'Employee table' ROW FORMAT D 阅读全文
posted @ 2020-02-24 16:05 最爱番茄炒蛋 阅读(211) 评论(0) 推荐(0)