hadoop安装笔记
最近在学习hadoop，hadoop的安装过程如下
我选用的是ubuntu 14桌面版+hadoop3.1.1。
1，ubuntu的安装
需要准备的有：ubuntu镜像文件，VMware虚拟机
首先我们需要linux系统，但是由于平时大家基本都是使用windows系统，而且hadoop集群又需要多个节点，所以我们需要使用虚拟机，这里选用的是VM ware ，当然你也可以使用virtual box，两者孰优孰劣，仁者见仁，全凭喜好。
安装好VMware之后(VMware是商业软件，作为一个学生，如何去使用它，相信难不住各位看官，在此便不作赘述)，新建虚拟机-->自定义-->下一步-->稍后安装操作系统，下一步-->操作系统linux,版本:ubuntu64位,下一步-->编辑虚拟机名称，安装位置,下一步-->根据实际需要进行处理器配置，我直接next-->为虚拟机分配内存，我电脑8G，分给虚拟机2G-->选择网络类型：桥接网络-->控制器类型：选推荐-->磁盘类型:选推荐-->选择磁盘:创建虚拟磁盘-->分配磁盘空间:将虚拟磁盘存储为单个文件-->next-->完成。至此虚拟机新建完成。
接下来安装ubuntu系统，ubuntu系统可以在ubuntu官网http://ubuntu.com.cn/download/alternative-downloads下载，这里使用的是ubuntu14桌面版，首先编辑虚拟机设置-->CD/DVD,右侧连接，使用ISO映像文件，选择你下载的ubuntu镜像，确定，开机。
ubuntu安装过程如下：
1，选择语言，中文简体，然后选择安装ubuntu
2，直接点Next
3，选择其他选项，新建分区表
4分配交换空间。一般来说，我们选择512MB到1G大小作为交换空间，剩下空间全部用来作为根目录
5键盘布局
6，设置主机名和密码
7，等待安装完成，不要点skip
安装完毕后，重启即可，你可以在显示设置里修改屏幕分辨率
完成。
首先创建hadoop用户：
sudo useradd -m hadoop -s /bin/bash
接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
sudo passwd hadoop
为 hadoop 用户增加管理员权限
sudo adduser hadoop sudo
然后更换为hadoop用户。
更新apt
sudo apt-get update
安装vim
sudo apt-get install vim
安装ssh，Ubuntu 默认已安装了 SSH client，我们需要安装 SSH server：
sudo apt-get install openssh-server
安装后，可以使用如下命令登陆本机
ssh localhost
此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中
exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示，都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权
接下来下载jdk和hadoop，都在官网下载，jdk：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
hadoop：http://mirror.bit.edu.cn/apache/hadoop/common/
网上已有的linux安装jdk的经验https://www.jianshu.com/p/c43b73e7edd8
安装好jdk后来安装hadoop
我们选择将 Hadoop 安装至 /usr/local/ 中：
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
cd /usr/local/hadoop
./bin/hadoop version
Hadoop伪分布式配置
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)
将以下内容插入到<configuration></configuration>里
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
同样地，对于hdfs-site.xml：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
配置完成后，执行 NameNode 的格式化:
./bin/hdfs namenode -format
看到 “successfully formatted” 和 “Exitting with status 0” 的提示，表示成功
接着开启 NameNode 和 DataNode 守护进程。
./sbin/start-dfs.sh
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
