大数据运维日常工作梳理

　　　　　　　　　　　　　　大数据运维日常工作梳理

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

一.配置集群环境

1>.需求描述

    开发组的同事今天找到我说他有一台开发服务器在某机房里，由于开发需要想要访问同机房的大数据集群环境。所需要用到的运行环境有：HDFS，YARN，MAPREDUCE,SPARK等

2>.解决方案

　　分两步即可完成：（大前提是该开发机必须和现有大数据集群环境能实现互通）
　　　　第一步，在该同事的开发机安装HDFS，YARN，MAPREDUCE，SPARK等相应的软件并配置环境变量。
　　　　第二步，将现有的集群环境配置文件拷贝至安装好软件的开发机的对应软件的配置目录。

下面给出各个软件的下载地址:
　　Apache Hadoop ：https://archive.apache.org/dist/hadoop/common
　　Apache Spark  ：https://archive.apache.org/dist/spark/

 

二.

 

 

三.