随笔分类 - 大数据
摘要:刚看了hive官网的文档,对于一些概念结合自己的经验,似乎又多了一些理解,想一想还是记下来的好,一来我是个有些健忘的人,过一段时间即便忘了,循着这个帖子,也能快速把知识点抓起来;二来或许对别人也有些启发。不过首先声明,只是我自己的理解,或许也有错误的地方。。 1. 先吐个槽,hive的官方文档页面导
阅读全文
摘要:hadoop集群搭建了ha,初次启动正常,最近几天启动时偶尔发现,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志: 一、查阅资料后找到原因: 我是用start-al.sh启动的集群,journalnode(端口8485)是在n
阅读全文
摘要:spark-shell不支持yarn cluster,以yarn client方式启动 启动日志,错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries
阅读全文
摘要:写了个jdbc连接hive2的demo,结果报错:java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport,实际上在解决这个问题过程中,报了很多错,事实上报什么错不重要,重要的是出错的原因。 我出错的原因是mav
阅读全文

浙公网安备 33010602011771号