Hadoop运行环境搭建之模板模拟机的准备
模板虚拟机环境准备
VMware
VMware安装
- VMware WorkStation Pro 版本安装包下载:www.vmware.com
- 需要采取破解的方式绕过购买许可证
- 按照安装流程安装即可
CentOS
配置电脑
新建虚拟机
自定义新的虚拟机(高级)
虚拟机兼容性
虚拟机兼容:
.vmx虚拟机配置文件存在VM软件的版本兼容问题,一般是只支持向下兼容
.vmdk虚拟机VMware创建的虚拟硬盘格式,文件存在于VMware文件系统中,被称为VMFS
选择对应的虚拟机操作系统Linux
配置电脑名:Hadoop100
存放物理机的位置 建议选择固态 加载速度会比较快
CUP个数的选取
查看物理机的CPU个数 任务管理器->资源管理器
设置虚拟机处理器的数量
一个物理CPU可以有1个或者多个物理内核,
一个物理内核可以作为1个或者2个逻辑CPU总的CPU物理内核数 = 物理CPU数 * 每颗物理CPU的内核数
总的逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数
两篇博客看完后就会明白哒~
虚拟机内存根据物理机而定
选择虚拟机上网的方式-Nat模式相对安全
(9条消息) VMware虚拟机三种网络模式:桥接模式,NAT模式,仅主机模式Jodness' Blogs-CSDN博客仅主机模式
桥接模式下: 虚拟机和主机在一个网段下 虚拟机被攻击后 攻击者可以通过局域网攻击对主机发起攻击 只要防火墙技术相对成熟 就可以成功防御
NAT模式下:主机向虚拟机的路由器 此时虚拟机和主机不在一个网段 攻击者比较难攻击
选择文件系统的IO方式
选择磁盘的类型
选择磁盘的种类
选择虚拟机的磁盘大小
按照具体需求选择磁盘的大小 磁盘的大小是动态可伸缩的 规定上限 其余剩下的物理机仍然可以使用
- 虚拟机存放的位置
建议选择关联性较强的创建虚拟机的路径
- 完成虚拟机的配置
安装系统
注意:在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开
CD/DVD 定位到iso文件
开启虚拟机安装系统
选择语言 -简体中文
时间和日期
选择上海
调整时间差
安装GHOME图形化界面
初学者建议:图形化界面
大佬建议:最小安装 使用命令行
磁盘分区
自定义配置分区 - 完成
/boot分区 1G 开机启动占用的存储
/swap分区 4G 虚拟存储器占用的内存
/根目录分区 45G 用于文件的存储
文件系统修改为ext4
linux第四代拓展文件系统 当对于其他版本更为强大
- Kudmp
用于虚拟机内核崩溃是的备份 我们选择关闭节省点内存 实际开发最好打开
- 修改主机名为
Hadoop100 - 开启安全协议
- 设置root用户账号和密码
- 等待提示重启虚拟机后 按照提示进行
- 切换root用户
网络配置
编辑VMware的网络配置
- 将Vmnet8的子网IP修改为
192.168.10.0注意:和上文的概念对比 此时和主机不在同一个网段 - NAT设置将网关的IP修改为
192.168.10.2
Windows的网络配置
- 将虚拟网卡Vmnet8的IP地址修改为
192.168.10.1 - 默认网关修改为
192.168.10.2 - 首选DNS服务器
192.168.10.2 - 备用DNS服务器
8.8.8.8
虚拟机网络IP修改地址配置
- 修改网络地址IP为静态IP地址
不使用DHCP服务器自动分配IP 方便节点服务器间的相互通信
1<br>
2<br>
3vim /etc/sysconfig/network-scripts/ifcfg-ens33
4
5TYPE="Ethernet" #网络类型(通常是Ethemet)
6PROXY_METHOD="none"
7BROWSER_ONLY="no"
8BOOTPROTO="static" #IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
9DEFROUTE="yes"
10
11IPV4_FAILURE_FATAL="no"
12IPV6INIT="yes"
13IPV6_AUTOCONF="yes"
14IPV6_DEFROUTE="yes"
15IPV6_FAILURE_FATAL="no"
16IPV6_ADDR_GEN_MODE="stable-privacy"
17NAME="ens33"
18UUID="e83804c1-3257-4584-81bb-660665ac22f6" #随机id
19DEVICE="ens33" #接口名(设备,网卡)
20ONBOOT="yes" #系统启动的时候网络接口是否有效(yes/no)
21#IP地址
22IPADDR=192.168.10.100
23#网关
24GATEWAY=192.168.10.2
25#域名解析器
26DNS1=192.168.10.2
重启网络服务
1<br>
2<br>
3systemctl restart network查看当前IP检查配置
ifconfig保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同
修改主机名和hosts文件
修改主机名称
1<br>
2<br>
3vim /etc/hostname配置Linux克隆机主机名称映射hosts文件,打开
/etc/hosts1<br>
2<br>
3192.168.10.100 hadoop100
4192.168.10.101 hadoop101
5192.168.10.102 hadoop102
6192.168.10.103 hadoop103
7192.168.10.104 hadoop104
8192.168.10.105 hadoop105
9192.168.10.106 hadoop106
10192.168.10.107 hadoop107
11192.168.10.108 hadoop108重启机器
reboot修改windows的主机映射文件
hosts文件
路径:C:\Windows\System32\drivers\etc
添加如下内容
1<br>
2<br>
3192.168.10.100 hadoop100
4192.168.10.101 hadoop101
5192.168.10.102 hadoop102
6192.168.10.103 hadoop103
7192.168.10.104 hadoop104
8192.168.10.105 hadoop105
9192.168.10.106 hadoop106
10192.168.10.107 hadoop107
11192.168.10.108 hadoop108
远程连接工具的安装
目的:同一管理所有的集群阶段
选择工具:
MobaXterm下载网址:https://mobaxterm.mobatek.net/
官方教程:MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Documentation (mobatek.net)
中文教程:SSH远程登录和FTP传输和串口三合一工具MobaXterm - 50萌主 - 博客园 (cnblogs.com)
模板机的配置
测试虚拟机联网连接网络情况
ping安装epel-release
1yum install -y epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
Linux如果安装的是最小版本的系统
需要安装 net-tool工具包里面还有ifconfig命令
以及需要安装vim编辑器
关闭防火墙以及关闭防火墙开机自启
1systemctl stop firewalld
2systemctl disable firewalld.service
企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
创建atguigu用户并修改用户密码
1useradd atguigu
2passwd atguigu 123456配置atguigu用户的root权限 方便后期执行root权限命令
1vim /etc/sudoers1## Allow root to run any commands anywhere
2
3root ALL=(ALL) ALL
4
5## Allows people in group wheel to run all commands
6#管理员用户组
7%wheel ALL=(ALL) ALL
8
9## sudo 免密登录
10atguigu ALL=(ALL) NOPASSWD:ALL
atguigu这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了atguigu具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。
在/opt目录下创建文件夹,修改所属主和所属组
在/opt目录下创建module、software文件夹
1mkdir /opt/module
2mkdir /opt/software修改module、software文件夹的所有者和所属组均为atguigu用户
1chown atguigu:atguigu /opt/module
2chown atguigu:atguigu /opt/software查看module、software文件夹的所有者和所属组
1cd /opt/
2ll卸载虚拟机自带的JDK
1rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
2
3rpm -qa:查询所安装的所有rpm软件包
4grep -i:忽略大小写
5xargs -n1:表示每次只传递一个参数
6rpm -e –nodeps:强制卸载软件重启虚拟机
reboot

浙公网安备 33010602011771号