本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223
1.安装Linux
(1)新建虚拟电脑

(2)配置虚拟电脑


(3)完成虚拟电脑的配置

(4)添加ubuntu ISO镜像文件进行ubuntu操作系统安装

(5)对ubuntu进行分区




(5)添加用户,至此完成安装,重启登录
2.安装MySql
(1)保证在联网状态下安装

(2)启动与关闭mysql数据库

(3)查看是否启动成功

(4)进入mysql

(5)显示数据库

(6)查看数据库中的表

(7)修改并查看数据库的编码

3.windows 与 虚拟机互传文件
详细教程请查看:https://www.cnblogs.com/dong-blog/p/7207831.html
(1)安装VirtualBox增强功能包
(2)在本机系统设置一个共享文件夹,用于与Ubuntu交互的区域空间。

(3)设置共享配置

(4)共享成功

4.安装Hadoop
还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件:
提取文件:hadoop-2.7.1.tar.gz
链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg
提取码: 2thj
(1)创建hadoop用户,设置用户名和密码,最后添加管理员权限

![]()

(2)安装ssh,ssh无密码登录
![]()


(3)复制hadoop-2.7.1.tar.gz到/usr/local中,我的hadoop-2.7.1.tar.gz文件源在/mnt/share/hadoop-2.7.1.tar.gz,解压后把名字改成hadoop,并修改文件权限为hadoop


(4)查看hadoop是否可用

(5)安装OpenJDK的java环境,修改~/.bashrc文件:在文件最前面或最后添加如下单独一行(注意,等号“=”前后不能有空格)


(6)使环境变量生效,并查看设置是否正确
![]()

(7)运行单机版实例,出现一个dfsadmin信息即单机版成功安装

![]()
(8)伪分布式配置:修改配置文件 core-site.xml 和 hdfs-site.xml,并执行 NameNode 的格式化
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>

(9)启动NameNode”、”DataNode” 和 “SecondaryNameNode”进程,并查看是否成功启动


(10)伪分布式读取的是 HDFS 上的数据,要使用 HDFS。
首先需要在 HDFS 中创建用户目录;创建目录 input,其对应的绝对路径就是 /user/hadoop/input:;将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。

查看文件列表:

(11)运行伪分布式实例,并将结果复制到本地


附:问题解决
问题:运行实例时,出现虚拟机内存不够分配的情况
解决方法一:在root用户下用echo 65530 /proc/sys/vm/max_map_count分配足够大的内存


解决方法去二:创建swapfile,将swapfile设置为swap空间,启用交换空间

