spark亚太研究院

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节：动手实战Scala面向对象编程(1)

摘要： 1，动手实战Scala中类的使用为方便后续代表的编写，我们创建一个新的代码工作区：创建一个Person类：其中的“_”是PlaceHolder，下面我们看一下如果使用该类：下面看一下private[this]的使用：所以使用private[this]定义后的内容就无法外部使用了，这起到了非常好的保护... 阅读全文

posted @ 2014-11-26 21:18 spark亚太研究院阅读(170) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节：动手体验Scala(3)

摘要： 3，Scala中的表达式实战首先看一下Scala中优雅的条件的表达式：接下来看一下while循环表达式：下面看一下for条件表达式：在for中也可以使用until：如果想在条件表达式中筛选出1到10中所有偶数，可以采用下面的写法：阅读全文

posted @ 2014-11-25 20:24 spark亚太研究院阅读(90) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节：动手体验Scala(2)

摘要： 2，Scala函数特性编程实战当函数不带参数的使用，我们调用的时候可以省略括号：接下来定义一个匿名函数、调用并运行：在Scala总函数式一等公民，所以我们可以把函数付给一个常：另外一个特性是Scala函数编程的柯里化，这个特性允许函数定义的时候有两个括号：而这种代码在Spark的源码中是非常常见的... 阅读全文

posted @ 2014-11-24 22:06 spark亚太研究院阅读(102) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节：动手体验Scala(1)

摘要： 1，在命令行和ScalaIDEforEclipse中动手体验ScalaScala一门基于JVM的面向对象和函数式编程相结合的静态语言，安装和运行Scala首先需要Java虚拟环境，直接到官方网站下载和安装Java即可：http://www.oracle.com/technetwork/java/ja... 阅读全文

posted @ 2014-11-22 21:19 spark亚太研究院阅读(139) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(13)

摘要：从控制台可以看到我们的程序成功在集群上运行：Detailforstage1：DetailforStage0:查看一下Executors的信息：上述信息表明程序成功在Spark集群上运行。第四步：基于IDEA构建Spark开发环境1,下载IDEA13.1.4社区版本“CommunityEditionF... 阅读全文

posted @ 2014-11-20 10:50 spark亚太研究院阅读(160) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(12)

摘要：第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“... 阅读全文

posted @ 2014-11-19 13:04 spark亚太研究院阅读(166) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(11)

摘要：此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息，例如Environment:同时，我们也可以看一下Executors：至此，我们的Spa... 阅读全文

posted @ 2014-11-18 22:44 spark亚太研究院阅读(113) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(10)

摘要：在SparkWorker1和SparkWorker2上使用jps会看到如下进程信息：第二步：启动Spark集群在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：此时的SparkWorker1和SparkWorker2会出现新的进程“... 阅读全文

posted @ 2014-11-17 21:08 spark亚太研究院阅读(112) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(9)

摘要：第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala... 阅读全文

posted @ 2014-11-17 21:05 spark亚太研究院阅读(163) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(8)

摘要：也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们... 阅读全文

posted @ 2014-11-17 20:43 spark亚太研究院阅读(119) 评论(0) 推荐(0)