摘要：
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari 阅读全文
posted @ 2016-08-31 23:49 天戈朱 阅读(5020) 评论(0) 推荐(0)
摘要：
Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；在Spark 1 阅读全文
posted @ 2016-08-31 23:47 天戈朱 阅读(7275) 评论(0) 推荐(0)
浙公网安备 33010602011771号