随笔分类 -  大数据

摘要:刚看了hive官网的文档,对于一些概念结合自己的经验,似乎又多了一些理解,想一想还是记下来的好,一来我是个有些健忘的人,过一段时间即便忘了,循着这个帖子,也能快速把知识点抓起来;二来或许对别人也有些启发。不过首先声明,只是我自己的理解,或许也有错误的地方。。 1. 先吐个槽,hive的官方文档页面导 阅读全文
posted @ 2018-05-12 20:48 aj117 阅读(22553) 评论(3) 推荐(2)
只有注册用户登录后才能阅读该文。
posted @ 2017-10-29 00:13 aj117 阅读(72) 评论(0) 推荐(1)
摘要:hadoop集群搭建了ha,初次启动正常,最近几天启动时偶尔发现,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志: 一、查阅资料后找到原因: 我是用start-al.sh启动的集群,journalnode(端口8485)是在n 阅读全文
posted @ 2017-08-29 10:51 aj117 阅读(23104) 评论(1) 推荐(2)
摘要:spark-shell不支持yarn cluster,以yarn client方式启动 启动日志,错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries 阅读全文
posted @ 2017-08-10 00:12 aj117 阅读(16381) 评论(0) 推荐(3)
摘要:写了个jdbc连接hive2的demo,结果报错:java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport,实际上在解决这个问题过程中,报了很多错,事实上报什么错不重要,重要的是出错的原因。 我出错的原因是mav 阅读全文
posted @ 2017-04-20 20:44 aj117 阅读(10826) 评论(0) 推荐(0)