解决ideal使用maven打包OutOfMemory
摘要：
https://blog.csdn.net/zhongzunfa/article/details/82229948 阅读全文
posted @ 2019-05-09 16:58 dairui130 阅读(420) 评论(0) 推荐(0) 编辑
2019年5月9日 #
元数据 概念及分类
摘要：
转自https://mp.weixin.qq.com/s/efh5JRmPfYmBTG5x8b30lA 1.物理元数据 描述物理资源的元数据，包括但不限于服务器、操作系统、机房位置等信息。 2.数据源元数据 描述数据源的元数据，通常包括四类信息： 数据源地址（IP、PORT等） 物理拓扑（主备、角色 阅读全文
posted @ 2019-05-09 14:11 dairui130 阅读(7177) 评论(0) 推荐(0) 编辑
hive on mr 参数设置
摘要：
set mapreduce.map.memory.mb = 4096; set mapreduce.reduce.memory.mb = 4096; 阅读全文
posted @ 2019-05-09 11:58 dairui130 阅读(408) 评论(0) 推荐(0) 编辑
hive on spark 常用配置
摘要：
常用设置 任务占用资源计算 cores ： 核心数executor.memory ：单个excutor分配内存executor.instances=10：executor个数任务占用总核心数：2 * 10 + 1 = 21 1是driver占用的核数占用总内存：2 * 4 * 10 = 40 阅读全文
posted @ 2019-05-09 11:17 dairui130 阅读(3254) 评论(0) 推荐(0) 编辑