摘要: Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解 一:“钨丝计划”产生的本质原因 1, Spark作为一个一体化多元化的(大)数据处理通用平台,性能一直是其根本性的追求之一,Spark基于内存迭代(部分基于磁盘迭代)的模型极大的满足了人们对分布式系统处理性能的渴望,但 阅读全文
posted @ 2017-10-13 17:54 fcyh 阅读(1571) 评论(0) 推荐(0) 编辑
摘要: sbt使用详解 安装: 我的系统为centos6.5故采用官方提供的在线安装: [html] view plain copy curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.rep 阅读全文
posted @ 2017-10-13 16:53 fcyh 阅读(5107) 评论(0) 推荐(0) 编辑
摘要: Spark SQL讲解 Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD,它把行对象用一个Schema来描述行里面的所有列的数据类型,它就像是关系型数据库里面的一张表。它可以从原有的RDD创建,也可 阅读全文
posted @ 2017-10-13 11:41 fcyh 阅读(1314) 评论(0) 推荐(0) 编辑