spark亚太研究院

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（8）

摘要：第五步：测试Spark IDE开发环境此时我们直接选择SparkPi并运行的话会出现如下错误提示：从提示中可以看出是找不到Spark程序运行的Master机器。此时需要配置SparkPi的执行环境：选择“Edit Configurations”进入配置界面：我们在Program arguments中... 阅读全文

posted @ 2014-09-26 09:37 spark亚太研究院阅读(169) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（7）

摘要：第四步：通过Spark的IDE搭建并测试Spark开发环境Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入:点击“OK”确认：点击“OK”:IDEA工... 阅读全文

posted @ 2014-09-25 14:10 spark亚太研究院阅读(214) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（6）

摘要：第一阶段：熟练的掌握Scala语言Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,；虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Sca... 阅读全文

posted @ 2014-09-24 09:48 spark亚太研究院阅读(532) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（5）

摘要：此时把我们的“firstScalaApp”的源代码修改为如下内容：此时我们点击“firstScalaApp”的右键选择“Run Scala Console”出现如下提示：这是由于我们还没有设置Java的JDK路径，点击“OK”，进入如下视图：此时我们选择最左侧的“Project”选项：此时我们选择“... 阅读全文

posted @ 2014-09-23 10:39 spark亚太研究院阅读(344) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（4）

摘要：此时重启IDEA:此时重启IDEA:重启后进入如下界面：Step 4：在IDEA中编写Scala代码：首先在进入在我们前一步的进入界面中选择“Create New Project”：此时选在左侧列表中的“Scala”选项：为了方便以后的开发工作，我们选择右侧的“SBT”选项：点击“Next”进入下一... 阅读全文

posted @ 2014-09-22 09:57 spark亚太研究院阅读(305) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（3）

摘要：配置完成后保存退出并执行source命令使配置文件生效。Step 3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件... 阅读全文

posted @ 2014-09-19 11:24 spark亚太研究院阅读(265) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（2）

摘要：第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看Web... 阅读全文

posted @ 2014-09-17 10:08 spark亚太研究院阅读(216) 评论(0) 推荐(0)

【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： Q1：docker成熟度如何？ Docker是2013年和2014年最火爆的云计算开源项目； Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期；Q2：... 阅读全文

posted @ 2014-09-12 10:09 spark亚太研究院阅读(217) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第四步）（1）

摘要：第一步：通过Spark的shell测试Spark的工作Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下：Step2:启动Spark Shell：此时可以通过如下Web控制台查看shell的情况：Step3:把Spark安装目录“README.md”拷贝到HDFS系统... 阅读全文

posted @ 2014-09-11 13:28 spark亚太研究院阅读(400) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第三步）（3）

摘要：启动并查看集群的状况第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：在Slave1 和Slave2上使用jps会看到如下进程信息：第二步：启动Spark集群在Hadoop集群成功启动的基础上，启动Spar... 阅读全文

posted @ 2014-09-10 10:24 spark亚太研究院阅读(356) 评论(0) 推荐(1)