2015年7月29日
搭建Hadoop2.6.0+Spark1.1.0集群环境
摘要： 前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置，方便开发和调试。本文主要介绍，真正集群环境下hadoop和spark的安装和使用。1. 环境准备集群有三台机器：master：W118PC01VM01/192.168.0.112slave1：W118PC02VM01/192.168... 阅读全文
posted @ 2015-07-29 22:54 如玉暖阳 阅读(532) 评论(0) 推荐(0)
分别用Eclipse和IDEA搭建Scala+Spark开发环境
摘要： 开发机器上安装jdk1.7.0_60和scala2.10.4，配置好相关环境变量。网上资料很多，安装过程忽略。此外，Eclipse使用Luna4.4.1，IDEA使用14.0.2版本。1. Eclipse开发环境搭建1.1. 安装scala插件安装eclipse-scala-plugin插件，下载地... 阅读全文
posted @ 2015-07-29 21:30 如玉暖阳 阅读(8435) 评论(0) 推荐(0)
在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境
摘要： Hadoop的安装和配置可以参考我之前的文章：在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境。本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境。1. 软件准备 scala-2.11.7.tgzspark-1.4.0-bin-hadoop2.6.tgz都可以从官网下... 阅读全文
posted @ 2015-07-29 00:25 如玉暖阳 阅读(1990) 评论(0) 推荐(0)