摘要：
【常规】 【调试部分、编译】 【重构】 【查找】 【VCS】 转自：http://www.cnblogs.com/valor-xh/p/6372508.html 阅读全文
posted @ 2018-07-14 10:11
王晓成
阅读(252)
评论(0)
推荐(0)
2018年7月14日 #
2018年7月12日 #
摘要：
概述：使用dump 方式将mongo数据导出，上传到hdfs,然后在hive中建立外部表。 1. 使用mongodump 将集合导出 mongodump --host=localhost:27017 --db=mydb --collection=users --out=/tmp/root/mongo 阅读全文
posted @ 2018-07-12 10:44
王晓成
阅读(815)
评论(0)
推荐(0)
2018年7月11日 #
摘要：
将MongoDB数据导入Hive，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON错误 阅读全文
posted @ 2018-07-11 17:35
王晓成
阅读(1516)
评论(0)
推荐(0)
2018年6月27日 #
摘要：
spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下： 1、启动hive的元数据服务 [root@master apache-hive-1.2.2- 阅读全文
posted @ 2018-06-27 10:15
王晓成
阅读(8294)
评论(0)
推荐(0)
2018年6月25日 #
摘要：
说明：withColumn用于在原有DF新增一列 1. 初始化sqlContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 2.导入sqlContext隐式转换 import sqlContext.implicits._ 3. 阅读全文
posted @ 2018-06-25 19:17
王晓成
阅读(3089)
评论(0)
推荐(0)
2018年5月2日 #
摘要：
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 阅读全文
posted @ 2018-05-02 17:45
王晓成
阅读(4921)
评论(0)
推荐(1)
2017年11月17日 #
摘要：
1. mysql官网下载rpm包 [root@slave2 home]# ls hbase hive mysql mysql57-community-release-el6-11.noarch.rpm zookeeper 2.安装 [root@slave2 home]# yum install my 阅读全文
posted @ 2017-11-17 17:32
王晓成
阅读(191)
评论(0)
推荐(0)
2017年11月14日 #
摘要：
描述：windows调试 hbase 代码时，出现如下错误：Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是： 本地hosts文 阅读全文
posted @ 2017-11-14 10:56
王晓成
阅读(4932)
评论(0)
推荐(0)
2017年11月13日 #
摘要：
问题： 在HBase机群搭建完成后，通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error) 阅读全文
posted @ 2017-11-13 16:54
王晓成
阅读(6356)
评论(0)
推荐(0)
摘要：
前提条件：hadoop及zookeeper机群已经搭建好。 配置hbase集群步骤： 1.配置hbase集群，要修改3个文件 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 1.1修改hbase-env.sh export JAVA_HOM 阅读全文
posted @ 2017-11-13 12:18
王晓成
阅读(360)
评论(0)
推荐(0)
浙公网安备 33010602011771号