摘要：Q1：Master和Driver的是同一个东西吗？ 两者不是同一个东西，在Standalone模式下Master是用于集群资源管理和调度的，而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的； Master位于集群的管理节点，一般和 NameNode在同一个节点上； D... 阅读全文

摘要：从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了Res... 阅读全文

摘要：7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;8,启动并验证Hadoop分布式集群第一... 阅读全文

摘要：“发现最有正能量的网络达人”，Spark开发者大赛火热进行！2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业... 阅读全文

摘要：第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件... 阅读全文

摘要：把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在h... 阅读全文

摘要：第一步：构造分布式Hadoop2.2.0集群1,在Windows 7（本教程中的Spark集群运行的机器是8G的Windows内存）上安装VMware虚拟机（我们安装的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下载地址： https... 阅读全文