搭建Hadoop和Spark集群的总结

1. 备份master和所有slave上的文档、程序和软件

master上的目录结构：conf/dataset/hadoop/mesos/package/spark/桌面/.result/.script

slave上的目录结构：conf/hadoop/mesos/package/spark/桌面/.result/.script

master上/etc/hosts文件中的内容：

127.0.0.1       localhost
#127.0.1.1      master

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#ip-host映射关系
192.168.2.99    master
192.168.2.100   slave0
192.168.2.101   slave1
192.168.2.102   slave2
192.168.2.103   slave3
192.168.2.104   slave4
192.168.2.105   slave5
192.168.2.106   slave6
192.168.2.107   slave7

各个slave上/etc/hosts文件中的内容：

127.0.0.1       localhost
#127.0.1.1      slave0

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#ip-host映射关系
192.168.2.99    master
192.168.2.100   slave0
192.168.2.101   slave1
192.168.2.102   slave2
192.168.2.103   slave3
192.168.2.104   slave4
192.168.2.105   slave5
192.168.2.106   slave6
192.168.2.107   slave7

 

master上.bashrc文件最后几行：

export JAVA_HOME=/home/dummy/.java/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export SCALA_HOME=/home/dummy/.scala/scala-2.9.2
export PATH=$PATH:$SCALA_HOME/bin

 

各个slave上.bashrc文件最后几行：

export JAVA_HOME=/home/dummy/.java/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export SCALA_HOME=/home/dummy/.scala/scala-2.9.2
export PATH=$PATH:$SCALA_HOME/bin

 

2. 在每台机器上安装64位Ubuntu系统。

    1） 分区设计(硬盘总容量为500GB)

分区名称	分区大小	主分区逻辑分区
/	307200 MB	主分区
/boot	400 MB	逻辑分区
swap	4096 MB	逻辑分区
/home	剩下	逻辑分区

    2） 设置主机名（master/slavex）、用户名（dummy）和密码（dummy）

    3)    给机器贴标签（master/sx）

    4)    设置IP地址：192.168.2.99/24 ～ 192.168.2.107/24    网关：192.168.2.254  DNS： 202.112.128.51

    5)    设置更新管理器：

           在设置-》其他软件下，去除独立软件源

           在设置-》Ubuntu软件下，更新资源软件列表为：mirror.bjtu.edu.cn/ubuntu

    6） 安装更新

    7） 更新语言支持，在搜索框中输入：language或者语言支持。

    8） 重启系统，核对主机名是否为slavex。

3. 删除主目录中的中文文件夹

除桌面之外全部删除

4. 安装软件和库

   1) ssh server       

sudo apt-get install openssh-server

   2) vim

sudo apt-get install vim

 

  3) expect

sudo apt-get install expect

 

 4) g++，python-dev，libcppunit-dev，libcppunit-doc

sudo apt-get install g++ python-dev  libcppunit-dev libcppunit-doc

 

5） ant

sudo apt-get install ant

 

6)  sbt

wget http://apt.typesafe.com/repo-deb-build-0002.deb
sudo dpkg -i repo-deb-build-0002.deb
sudo apt-get update
sudo apt-get install sbt

 

5. 配置SSH

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> authorized_keys
#使用ssh localhost验证是否配置正确
ssh localhost
#将master结点上的id_rsa.pub拷贝到各个slave结点的authorized_keys中
ssh-copy-id slave-host-name/slave-ip
#拷贝后验证可以从master无密码登录各个slave
#修改各个slave结点的/etc/ssh/sshd_config，找到文件中的PasswordAuthentication项，将其值修改为no，保存文件并退出。

6. 安装JDK

7. 安装Scala 2.9.2

8. 安装mesos

9. 安装Hadoop

10. 安装Spark 

11. 在Hadoop HDFS上创建目录导入数据