Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理
  372 Posts :: 1 Stories :: 253 Comments :: 51 Trackbacks

公告

共38页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页 

2018年7月12日 #

摘要: 概述:使用dump 方式将mongo数据导出,上传到hdfs,然后在hive中建立外部表。 1. 使用mongodump 将集合导出 mongodump --host=localhost:27017 --db=mydb --collection=users --out=/tmp/root/mongo阅读全文
posted @ 2018-07-12 10:44 王晓成 阅读(37) 评论(0) 编辑

2018年7月11日 #

摘要: 将MongoDB数据导入Hive,出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON错误阅读全文
posted @ 2018-07-11 17:35 王晓成 阅读(113) 评论(0) 编辑

2018年6月27日 #

摘要: spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务 [root@master apache-hive-1.2.2-阅读全文
posted @ 2018-06-27 10:15 王晓成 阅读(509) 评论(0) 编辑

2018年6月25日 #

摘要: 说明:withColumn用于在原有DF新增一列 1. 初始化sqlContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 2.导入sqlContext隐式转换 import sqlContext.implicits._ 3.阅读全文
posted @ 2018-06-25 19:17 王晓成 阅读(37) 评论(0) 编辑

2018年5月2日 #

摘要: ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.阅读全文
posted @ 2018-05-02 17:45 王晓成 阅读(697) 评论(0) 编辑

2017年11月17日 #

摘要: 1. mysql官网下载rpm包 [root@slave2 home]# ls hbase hive mysql mysql57-community-release-el6-11.noarch.rpm zookeeper 2.安装 [root@slave2 home]# yum install my阅读全文
posted @ 2017-11-17 17:32 王晓成 阅读(30) 评论(0) 编辑

2017年11月14日 #

摘要: 描述:windows调试 hbase 代码时,出现如下错误:Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是: 本地hosts文阅读全文
posted @ 2017-11-14 10:56 王晓成 阅读(172) 评论(0) 编辑

2017年11月13日 #

摘要: 问题: 在HBase机群搭建完成后,通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error)阅读全文
posted @ 2017-11-13 16:54 王晓成 阅读(298) 评论(0) 编辑

摘要: 前提条件:hadoop及zookeeper机群已经搭建好。 配置hbase集群步骤: 1.配置hbase集群,要修改3个文件 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 1.1修改hbase-env.sh export JAVA_HOM阅读全文
posted @ 2017-11-13 12:18 王晓成 阅读(48) 评论(0) 编辑

摘要: 机群搭建好,执行自带wordcount时出现: Input path does not exist: hdfs://ns1/user/root/a.txt 此错误。 [root@slave1 hadoop]# ls a.txt dfs1 include libexec name sbin test 阅读全文
posted @ 2017-11-13 10:31 王晓成 阅读(145) 评论(0) 编辑

共38页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页