随笔分类 -  大数据平台

介绍大数据平台的搭建,平台各组件的使用经验等。
摘要:最近在出差,客户现场的 HiveServer 在很长时间内不可用,查看 CM 的监控发现,HiveServer 的内存在某一时刻暴涨,同时 JVM 开始 GC,每次 GC 长达 1 分钟,导致很长时间内,整个 HiveServer 不可用。 查看 HiveServer 日志发现,在那个内存暴涨的时间 阅读全文
posted @ 2021-01-17 22:20 KK架构 阅读(745) 评论(0) 推荐(0)
摘要:1.pom文件 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <depen 阅读全文
posted @ 2018-12-08 14:50 KK架构 阅读(2779) 评论(0) 推荐(1)
摘要:一、前言 由于线下测试的需要,需要在公司线下(测试)环境搭建大数据集群。 那么CDH是什么? hadoop是一个开源项目,所以很多公司再这个基础上进行商业化,不收费的hadoop版本主要有三个,分别是: (1)Apache,最原始的版本,所有发行版均基于这个版本进行改进 缺点:版本部署混乱,部署过程 阅读全文
posted @ 2018-05-12 12:22 KK架构 阅读(392) 评论(0) 推荐(0)