随笔分类 -  大数据Spark相关

• Apache Spark-1.0.1集群搭建
  摘要：Spark是一个高效的分布式计算系统，相比Hadoop，它在性能上比Hadoop要高100倍。Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足，通过引入RDD（Resilient Distributed Datasets）数据表示模型，能够很好地解决MapReduce不易解决的问题。相比于MapReduce，Spark能够充分利用内存资源提高计算效率。 阅读全文
  posted @ 2014-07-25 00:43 feshy 阅读(991) 评论(0) 推荐(1)
• Spark-1.0.1 的make-distribution.sh编译、SBT编译、Maven编译 三种编译方法
  摘要：Spark编译 阅读全文
  posted @ 2014-07-24 01:11 feshy 阅读(3476) 评论(0) 推荐(0)
• IntelliJ IDEA13.1.3+Scala2.11.1环境搭建
  摘要：Intellij IDEA的使用性非常好，是一个非常优秀的IDE，也是很好的scala开发工具。这里对构建Intellij IDEA的Scala开发环境进行介绍，包含在Windows环境和Ubuntu环境下的安装配置。 阅读全文
  posted @ 2014-07-08 10:31 feshy 阅读(3749) 评论(0) 推荐(0)