飞鸟各投林

导航

随笔分类 -  2Spark

Spark生态系统剖析--王家林老师
摘要： 阅读全文

posted @ 2016-04-13 19:16 飞鸟各投林 阅读(188) 评论(0) 推荐(0)

Tachyon架构剖析--王家林老师
摘要：BDAS 阅读全文

posted @ 2016-04-13 19:01 飞鸟各投林 阅读(264) 评论(0) 推荐(0)

Spark on Yarn-王家林老师
摘要： 阅读全文

posted @ 2016-04-13 18:38 飞鸟各投林 阅读(150) 评论(0) 推荐(0)

Spark SQL原理和实现--王家林老师
摘要： 阅读全文

posted @ 2016-04-13 18:19 飞鸟各投林 阅读(194) 评论(0) 推荐(0)

Spark学习笔记总结-超级经典总结
摘要：Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S 阅读全文

posted @ 2016-04-09 22:46 飞鸟各投林 阅读(1703) 评论(0) 推荐(0)

Spark 1.5新特性介绍
摘要：一、DataFrame执行后端优化（Tungsten第一阶段） DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成。主要的变化是由Spark自己来管理内存而不是使用JVM，这样可以避免JVM GC带来的性能损失。内存中 阅读全文

posted @ 2016-04-09 22:28 飞鸟各投林 阅读(473) 评论(0) 推荐(0)

Spark学习笔记--安装SCALA和IDEA开发环境
摘要：一：安装Scala 二：安装IDEA开发环境 阅读全文

posted @ 2016-04-09 22:22 飞鸟各投林 阅读(218) 评论(0) 推荐(0)

Spark的精简安装步骤---陈楠心血总结
摘要：1.下载解压 （1）安装Scala-2.10.4并解压 （2）/etc/profile加入PATH路径 （3）source /etc/profile使PATH的配置生效 （4）下载并解压spark-1.2.0.bin-hadoop1.tar.gz （5）/etc/profile加入PATH路径 （5 阅读全文

posted @ 2016-03-29 09:59 飞鸟各投林 阅读(386) 评论(0) 推荐(0)