Terry's blog

是建高楼大厦,还是搭窝棚?--------我要建高楼大厦。"只要决心成功,失败就不会把我们击垮" -------《羊皮卷》

博客园 首页 新随笔 联系 订阅 管理
  371 Posts :: 1 Stories :: 253 Comments :: 51 Trackbacks

公告

共37页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页 

2018年7月11日 #

摘要: 将MongoDB数据导入Hive,出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON错误阅读全文
posted @ 2018-07-11 17:35 王晓成 阅读(59) 评论(0) 编辑

2018年6月27日 #

摘要: spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务 [root@master apache-hive-1.2.2-阅读全文
posted @ 2018-06-27 10:15 王晓成 阅读(162) 评论(0) 编辑

2018年6月25日 #

摘要: 说明:withColumn用于在原有DF新增一列 1. 初始化sqlContext val sqlContext = new org.apache.spark.sql.SQLContext(sc) 2.导入sqlContext隐式转换 import sqlContext.implicits._ 3.阅读全文
posted @ 2018-06-25 19:17 王晓成 阅读(25) 评论(0) 编辑

2018年5月2日 #

摘要: ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.阅读全文
posted @ 2018-05-02 17:45 王晓成 阅读(376) 评论(0) 编辑

2017年11月17日 #

摘要: 1. mysql官网下载rpm包 [root@slave2 home]# ls hbase hive mysql mysql57-community-release-el6-11.noarch.rpm zookeeper 2.安装 [root@slave2 home]# yum install my阅读全文
posted @ 2017-11-17 17:32 王晓成 阅读(23) 评论(0) 编辑

2017年11月14日 #

摘要: 描述:windows调试 hbase 代码时,出现如下错误:Session establishment complete on server 2181, sessionid = 0x35fb853eb6f0004, negotiated timeout = 40000 错误原因是: 本地hosts文阅读全文
posted @ 2017-11-14 10:56 王晓成 阅读(73) 评论(0) 编辑

2017年11月13日 #

摘要: 问题: 在HBase机群搭建完成后,通过jdbc连接hbase,在连接zookeeper阶段出现Opening socket connection to server :2181. Will not attempt to authenticate using SASL (unknown error)阅读全文
posted @ 2017-11-13 16:54 王晓成 阅读(269) 评论(0) 编辑

摘要: 前提条件:hadoop及zookeeper机群已经搭建好。 配置hbase集群步骤: 1.配置hbase集群,要修改3个文件 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 1.1修改hbase-env.sh export JAVA_HOM阅读全文
posted @ 2017-11-13 12:18 王晓成 阅读(43) 评论(0) 编辑

摘要: 机群搭建好,执行自带wordcount时出现: Input path does not exist: hdfs://ns1/user/root/a.txt 此错误。 [root@slave1 hadoop]# ls a.txt dfs1 include libexec name sbin test 阅读全文
posted @ 2017-11-13 10:31 王晓成 阅读(119) 评论(0) 编辑

2017年11月10日 #

摘要: 描述:鉴于本地电脑内存限制,采用三台虚机安装此环境。 主机名,分别为master、slave1、slave2. zookeeper分别安装这三台机器上,master和slave1做主从备份, slave1和slave2是DataNode, slave1充当了master和slave的角色。 集群规划阅读全文
posted @ 2017-11-10 17:53 王晓成 阅读(27) 评论(0) 编辑

共37页: 上一页 1 2 3 4 5 6 7 8 9 下一页 末页