第二部分 环境准备(伪分布)

安装ubuntu系统

方案一：虚拟机

安装vmware和Tools

参考链接

新建虚拟机

备注：没有特殊要求，一路默认，系统存放的位置位于非C盘，因为电脑C盘固态不大，非要放C盘会给电脑带来卡顿

注意：如果没有skip会一直卡在这边

ubuntu18准备

更换源

我选择http://mirrors.aliyun.com/ubuntu，在之后的弹窗选择relode(需要一些时间)

切换中文

注意：重启之后切换中文才可以成功

设置全屏

在百度搜索了一圈都是说，vmare tools的问题，但是我的tools在安装虚拟机的时候就安装了，所以只能分辨率的角度下手。

设置——设备——显示——分辨率（1792*1344）

方案二 阿里云服务器

购买一个阿里云服务器，搭建环境，选择对应的操作系统即可。

• 优点：速度很快

• 缺点：少了图形化界面

搭建hadoop2.9.2(伪分布)

参考链接1

参考链接2

注意:其中的配置文件core-site，改成下面的且不能用localhost，不然影响后面的步骤。

core-site.xml

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hbase:9000</value>
    </property>
</configuration>

注意：可以不用新建hadoop 直接用root操作，避免权限受限问题

hdfs

基础知识

看到利用Web界面管理HDFS就可以

	虚拟机	服务器
hadoop2.*	http://localhost:50070	http://公网ip:50070
hadoop3.*	http://localhost:9870	http://公网ip:9870

建议：在windows上的域名映射中加入公网的域名映射,后面的部分基于加了域名映射，修改好hosts之后需要重启一下。

位置：C:\WINDOWS\system32\drivers\etc 的hosts文件

我的映射： 公网ip hbase

注意:如果是服务器需要看

• 是否关闭防火墙

（但是，自己测试了一下ubuntu系统购买之后，防火墙一般都是关闭的）

• 是否打开端口

（如果你是学习阶段，建议先打开阿里云的所有端口全都开放，避免后面因为端口问题而出现bug，等到问题全部解决之后再修改成开放部分端口）

阿里云开放所有端口

注意：

• 如果直接复制参考链接中的shell命令，遇到—，要自己改-

• 如果执行 ./bin/hdfs dfs –mkdir input出现找不到错误，需要input 进行进一步定位/user/hadoop/input

hbase2.2.4

参考安装博客

注意：

• 会出现SLF4J不影响

• 其中的配置文件hbase-site，改成下面的且不能用localhost，不然影响后面的步骤。

hbase-site.xml

<configuration>
 <property>
     <name>hbase.rootdir</name>
                <value>hdfs://hbase:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hbase</value>
    </property>
</configuration>

启动流程

启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh
cd /usr/local/hbase
bin/start-hbase.sh

cd /usr/local/hbase
bin/stop-hbase.sh
cd /usr/local/hadoop
./sbin/stop-dfs.sh

bin/hbase shell

如果在设置了环境变量

cd ~
vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export PATH=前面加过的,冒号隔开:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin

使得环境变量生效

source ~/.bashrc

就可以直接输入

start-dfs.sh
start-hbase.sh
--进入hbase 交互界面
hbase shell