07 2017 档案
摘要:关键词:yarn 资源分配 mapreduce spark 简要指南 适合不想看太多原理细节直接上手用的人。 基本原则: container分配的内存不等于机器实际用掉的内存。NM给container分配的内存是预留这么多内存,但实际用多少取决于你的-Xmx加上你的堆外内存。大部分堆外内存使用不多的
阅读全文
摘要:Preparation 假设当前为root用户,并已有jdk1.8环境。 cd /opt/package useradd sealion ElasticSearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse
阅读全文
摘要:关键词:carbondata spark thrift 数据仓库 【Install thrift 0.9.3】 注意 要装thrift-java必须先装ant 。 有人说要装boost,我在centos6上没有装一样可以运行,猜测可能是c/cpp需要,java/python的不需要 thrift安装
阅读全文
摘要:关键词:yarn rm mapreduce 提交 Based on Hadoop 2.7.1 JobSubmitter addMRFrameworkToDistributedCache(Configuration conf) : mapreduce.application.framework.pat
阅读全文