摘要：
转自 https://www.cnblogs.com/layezi/p/7290082.html 安装前注意: 此教程是通过yum安装的.仅限64位centos系统 安装步骤: 1、创建仓库文件: 1vi /etc/yum.repos.d/mongodb-org-3.4.repo 1vi /etc/ 阅读全文
posted @ 2018-07-21 10:01
王晓成
阅读(369)
评论(0)
推荐(0)
2018年7月21日 #
2018年7月20日 #
摘要：
通过spark sql 将hdfs 文件导入到mongodb 阅读全文
posted @ 2018-07-20 23:34
王晓成
阅读(1374)
评论(0)
推荐(0)
2018年7月14日 #
摘要：
【常规】 【调试部分、编译】 【重构】 【查找】 【VCS】 转自：http://www.cnblogs.com/valor-xh/p/6372508.html 阅读全文
posted @ 2018-07-14 10:11
王晓成
阅读(264)
评论(0)
推荐(0)
2018年7月12日 #
摘要：
概述：使用dump 方式将mongo数据导出，上传到hdfs,然后在hive中建立外部表。 1. 使用mongodump 将集合导出 mongodump --host=localhost:27017 --db=mydb --collection=users --out=/tmp/root/mongo 阅读全文
posted @ 2018-07-12 10:44
王晓成
阅读(832)
评论(0)
推荐(0)
2018年7月11日 #
摘要：
将MongoDB数据导入Hive，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON错误 阅读全文
posted @ 2018-07-11 17:35
王晓成
阅读(1533)
评论(0)
推荐(0)
2018年6月27日 #
摘要：
spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下： 1、启动hive的元数据服务 [root@master apache-hive-1.2.2- 阅读全文
posted @ 2018-06-27 10:15
王晓成
阅读(8329)
评论(0)
推荐(0)
2018年6月25日 #
摘要：
说明：withColumn用于在原有DF新增一列 1. 初始化sqlContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 2.导入sqlContext隐式转换 import sqlContext.implicits._ 3. 阅读全文
posted @ 2018-06-25 19:17
王晓成
阅读(3119)
评论(0)
推荐(0)
2018年5月2日 #
摘要：
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 阅读全文
posted @ 2018-05-02 17:45
王晓成
阅读(4937)
评论(0)
推荐(1)
2017年11月17日 #
摘要：
1. mysql官网下载rpm包 [root@slave2 home]# ls hbase hive mysql mysql57-community-release-el6-11.noarch.rpm zookeeper 2.安装 [root@slave2 home]# yum install my 阅读全文
posted @ 2017-11-17 17:32
王晓成
阅读(209)
评论(0)
推荐(0)
2017年11月14日 #
摘要：
描述：windows调试 hbase 代码时，出现如下错误：Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是： 本地hosts文 阅读全文
posted @ 2017-11-14 10:56
王晓成
阅读(4944)
评论(0)
推荐(0)
浙公网安备 33010602011771号