07 2017 档案

摘要:关键词:yarn 资源分配 mapreduce spark 简要指南 适合不想看太多原理细节直接上手用的人。 基本原则: container分配的内存不等于机器实际用掉的内存。NM给container分配的内存是预留这么多内存,但实际用多少取决于你的-Xmx加上你的堆外内存。大部分堆外内存使用不多的 阅读全文
posted @ 2017-07-30 13:27 Lhfcws 阅读(515) 评论(0) 推荐(0)
摘要:Preparation 假设当前为root用户,并已有jdk1.8环境。 cd /opt/package useradd sealion ElasticSearch wget https://artifacts.elastic.co/downloads/elasticsearch/elasticse 阅读全文
posted @ 2017-07-19 18:14 Lhfcws 阅读(521) 评论(0) 推荐(0)
摘要:关键词:carbondata spark thrift 数据仓库 【Install thrift 0.9.3】 注意 要装thrift-java必须先装ant 。 有人说要装boost,我在centos6上没有装一样可以运行,猜测可能是c/cpp需要,java/python的不需要 thrift安装 阅读全文
posted @ 2017-07-13 17:01 Lhfcws 阅读(605) 评论(0) 推荐(0)
摘要:关键词:yarn rm mapreduce 提交 Based on Hadoop 2.7.1 JobSubmitter addMRFrameworkToDistributedCache(Configuration conf) : mapreduce.application.framework.pat 阅读全文
posted @ 2017-07-06 19:22 Lhfcws 阅读(3085) 评论(0) 推荐(0)