NFS共享储存实战

NFS基本概述

​ NFS是Network File System的缩写及网络文件系统。NFS主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。

​ NFS系统和windows网络共享、网络驱动器类似，只不过windows用于局域网，NFS用于企业集群架构中，如果是大型网站，会用到更复杂的分布式文件系统FastDFS、glusterfs、HDFS等。

使用共享存储好处

  • 1、实现多台服务器之间数据共享
  • 2、实现多台服务器之间数据一致

NFS应用场景

集群没有共享存储

1、A用户上传图片经过负载均衡，负载均衡将上传请求调度至web1服务器上。

2、B用户访问A用户上传的图片，此时B用户被负载均衡调度至web2上，因为web2上没有这张图片，所以B用户无法看到A用户传的图片。

集群有共享存储

1、A用户上传图片无论被负载均衡调度至web1还是web2, 最终数据都被写入至共享存储。

2、B用户访问A用户上传图片时，无论调度至web1还是web2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了。

NFS实现原理

本地文件的操作方式

  • 1、当用户执行mkdir命令，该命令会调用shell解释器翻译给内核。
  • 2、内核解析完成后会驱动对应的硬件设备，完成相应的操作。

NFS原理

  • 1、用户进程访问NFS客户端，使用不同的函数对数据进行处理
  • 2、NFS客户端通过TCP/IP的方式传递给NFS服务端。
  • 3、NFS服务端接收到请求后，会先调用portmap进程进行端口映射。
  • 4、nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
  • 5、Rpc.mount进程判断客户端是否有对应的权限进行验证。
  • 6、idmap进程实现用户映射和压缩。
  • 7、最后NFS服务端会将对应请求的函数转换为本地能识别的命令，传递至内核，由内核驱动硬件。

注意: rpc是一个远程过程调用，那么使用nfs必须有rpc服务。

NFS服务安装

环境准备

外网IP 内网IP 角色 主机名
10.0.0.7 172.16.1.7 网站服务NFS(客户端) web01
10.0.0.8 172.16.1.8 网站服务NFS(客户端) web02
10.0.0.31 172.16.1.31 网站服务NFS(服务端) NFS

配置nfs服务端

### 关闭防火墙
[root@nfs ~]# systemctl stop firewalld
[root@nfs ~]# systemctl disable firewalld
### 关闭selinux防火墙
[root@nfs ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
### 安装NFS服务端
-Centos6
[root@nfs ~]# yum install -y nfs rpcbind
-Centos7
[root@nfs ~]# yum install -y nfs-utils
### 配置服务端
[root@nfs ~]# vim /etc/exports
/data   172.16.1.0/24(rw,sync,all_squash)
### 创建共享目录
[root@nfs ~]# mkdir /data
### 修改共享目录的属主和属组为NFS匿名用户
[root@nfs ~]# chown -R nfsnobody.nfsnobody /data/
### 启动服务
[root@nfs ~]# systemctl start nfs
### 开机自启
[root@nfs ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
### 检查进程
[root@nfs ~]# ps -ef | grep nfs
root       6780      2  0 15:17 ?        00:00:00 [nfsd4_callbacks]
### 检查配置文件是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash)
# NFS共享目录会记录至/var/lib/nfs/etab,如果该目录不存在共享信息,请检查/etc/exports是否配置错误

​ NFS服务程序的配置文件为/etc/exports，需要严格按照共享目录的路径、允许访问的NFS客户端（共享权限参数）格式书写，定义要共享的目录与相应的权限。

配置web客户端

将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机

1、所有客户端主机都拥有读写权限

2、在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失

3、将所有用户映射为本地的匿名用户(nfsnobody)

### 关闭防火墙
[root@web01 ~]# systemctl stop firewalld
[root@web01 ~]# systemctl disable firewalld
### 关闭selinux防火墙
[root@web01 ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
### 安装NFS客户端
-Centos6
[root@web01 ~]# yum install -y nfs rpcbind
-Centos7
[root@web01 ~]# yum install -y nfs-utils
### 查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
### 挂载共享目录
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /opt/
# opt为客户端挂载目录(可更换)
### 查看是否挂载
[root@web01 ~]# df -h
文件系统           容量  已用  可用 已用% 挂载点
172.16.1.31:/data   19G  1.5G   18G    8% /opt

挂载成功后可以进行增删改操作

### 使用客户端往NFS存储写入
[root@web01 ~]# echo 'nfs-client' > /opt/test.txt
# opt为客户端挂载目录(可更换)
### 检查NFS服务端是否存在客户端创建的新文件
[root@nfs ~]# cat /data/test.txt
nfs-client

开机挂载

如果希望NFS文件共享服务能一直有效，则需要将其写入到fstab文件中

### 编辑fstab文件
[root@web01 ~]# vim /etc/fstab
172.16.1.31:/data  /opt  nfs  defaults  0  0
# opt为客户端挂载目录(可更换)
### 检查fstab是否写入正确
[root@web01 ~]# mount -a
#如果编写错误会有如下提示
mount.nfs: access denied by server while mounting 172.16.1.31:/data

卸载NFS

### 卸载NFS
[root@web01 ~]#　umount /opt
# opt为客户端挂载目录(可更换)
# 注意:卸载的时候如果提示”umount.nfs: /nfsdir: device is busy”  
# 1.切换至其他目录, 然后在进行卸载。
# 2.NFS Server宕机, 强制卸载umount -lf /opt

增强安全性

​ 在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取来用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录，然后执行的。

### 通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@web01 ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /opt
# opt为客户端挂载目录(可更换)

增强性能

​ 有时也需要考虑性能相关参数[可选]

### 通过mount -o指定挂载参数，禁止更新目录及文件时间戳挂载
[root@web01 ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /opt
# opt为客户端挂载目录(可更换)

NFS配置详解

​ 执行man exports命令，然后切换到文件结尾，可以快速查看如下样例格式：

NFS共享参数 参数作用
rw 读写权限
ro 只读权限
root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
all_squash 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
no_all_squash 无论NFS客户端使用什么账户访问，都不进行压缩
sync 同时将数据写入到内存与硬盘中，保证不丢失数据
async 优先将数据保存到内存，然后在写入硬盘，这样效率更高，但可能会丢失数据
anonuid 配置all_squash使用,指定NFS的用户GID,必须存在系统
anongid 配置all_squash使用,指定NFS的用户GID,必须存在系统

验证ro权限实践

  • 1、服务端修改rw为ro参数
### 修改配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)
### 重启NFS服务
[root@nfs ~]# systemctl restart nfs
  • 2、客户端验证
### 客户端挂载NFS
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /opt
# opt为客户端挂载目录(可更换)
### 查看是否挂载
[root@web01 ~]# df -h
文件系统           容量  已用  可用 已用% 挂载点
172.16.1.31:/data   19G  1.5G   18G    8% /opt
### 发现无法正常写入文件
[root@web01 ~]# touch file1.txt
touch: cannot touch ‘file’: Read-only file system

验证all_squash、anonuid、anongid权限

  • 1、NFS服务端配置
### 修改配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash，anonuid=666，anongid=666)
### 创建uid=666、gid=666的用户和用户组
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)
### 授权共享目录为www
[root@nfs ~]# chown -R www.www /data
[root@nfs ~]# ll -d /data
drwxr-xr-x 3 www www 16 4月  13 11:22 /data
### 重启NFS服务
[root@nfs ~]# systemctl restart nfs
### 检查配置文件是否生效
[root@nfs ~]# cat /var/lib/nfs/etab 
/data   172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,rw,secure,root_squash,all_squash)
  • 2、NFS客户端配置
### 挂载NFS
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /opt
# opt为客户端挂载目录(可更换)
### 查看客户端的共享文件
[root@web01 ~]# ll /opt
drwxr-xr-x 2 www www 6 4月  13 11:22 rsync_dir
-rw-r--r-- 1 www www 0 4月  13 11:22 rsync_file
### 查看是否可写入文件
[root@web01 opt]# touch file1.txt
[root@web01 opt]# mkdir dir1
[root@web01 opt]# ll
drwxr-xr-x 2 www www 16 4月  13 11:22 dir1
-rw-r--r-- 1 www www 16 4月  13 11:22 file1.txt
### 建议：将客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况
创建uid=666、gid=666的用户和用户组
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u 666 -g 666 www
[root@web01 ~]# id www
uid=666(www) gid=666(www) groups=666(www)

NFS存储小结

  • 1、NFS存储优点

    • 1.NFS文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
    • 2.NFS文件系统内存放的数据都在文件系统之上，所有数据都是能看得见。

  • 2、NFS存储局限

  • 1.存在单点故障, 如果构建高可用维护麻烦，web->nfs()->backup

  • 2.NFS数据明文, 并不对数据做任何校验。

    • 3.客户端挂载NFS服务没有密码验证, 安全性一般(内网使用)

  • 3、NFS应用建议

  • 1.生产场景应将静态数据尽可能往前端推, 减少后端存储压力

  • 2.必须将存储里的静态资源通过CDN缓存jpg\png\mp4\avi\css\js

  • 3.如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用

部署交作业网站

环境准备

主机名 内网IP 角色 主机名
web01 10.0.0.7 172.16.1.7 网站服务NFS(客户端)
web02 10.0.0.8 172.16.1.8 网站服务NFS(客户端)
NFS 10.0.0.31 172.16.1.31 网站服务NFS(服务端)

配置服务端

### 安装NFS服务端
-Centos6
[root@nfs ~]# yum install -y nfs rpcbind
-Centos7
[root@nfs ~]# yum install -y nfs-utils
### 配置服务端
[root@nfs ~]# vim /etc/exports
/data   172.16.1.0/24(rw,sync,all_squash)
### 创建共享目录
[root@nfs ~]# mkdir /data
### 修改共享目录的属主和属组为NFS匿名用户
[root@nfs ~]# chown nfsnobody.nfsnobody /data/
### 启动服务
[root@nfs ~]# systemctl start nfs
### 开机自启
[root@nfs ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
### 检查进程
[root@nfs ~]# ps -ef | grep nfs
root       6780      2  0 15:17 ?        00:00:00 [nfsd4_callbacks]
### 检查配置文件是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash)
	# NFS共享目录会记录至/var/lib/nfs/etab,如果该目录不存在共享信息,请检查/etc/exports是否配置错误

配置客户端

### 安装apache和php
[root@web01 ~]# yum install -y httpd php
### 下载代码
[root@web01 ~]# cd /var/www/html
# 本地上传'kaoshi_modify.zip'包
[root@web01 html]# ll
-rw-r--r-- 1 root root 27020 4月  13 16:34 kaoshi_modify.zip
### 解压kaoshi包
[root@web01 html]# unzip kaoshi_modify.zip
[root@web01 html]# ll
总用量 80
-rw-r--r-- 1 root root 38772 4月  27 2018 bg.jpg
-rw-r--r-- 1 root root  2633 5月   4 2018 index.html
-rw-r--r-- 1 root root    52 5月  10 2018 info.php
-rw-r--r-- 1 root root 27020 4月  13 16:34 kaoshi_modify.zip
-rw-r--r-- 1 root root  1117 5月  18 2022 upload_file.php
### 修改apache配置目录的属主和属组为apache
[root@web01 ~]# chown -R apache.apache /var/www/html
### 启动apache服务
[root@web01 ~]# systemctl start httpd
### 检查进程
[root@web01 ~]# ps -ef | grep httpd
root      98141      1  0 16:38 ?        00:00:00 /usr/sbin/httpd -DFOREGROUND
### 检查端口
[root@web01 ~]# netstat -lnupt | grep httpd
tcp6       0      0 :::80              :::*           LISTEN      98141/httpd 
### 安装NFS客户端
-Centos6
[root@web01 ~]# yum install -y nfs rpcbind
-Centos7
[root@web01 ~]# yum install -y nfs-utils
### 查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
### 挂载共享目录
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data
### 查看是否挂载
[root@web01 ~]# df -h
文件系统           容量  已用  可用 已用%   挂载点
172.16.1.31:/data   19G  1.5G   18G    8% /var/www/html

### 卸载NFS
#1.正常卸载
[root@web01 ~]# umount /data/w/
#2.强制卸载
[root@web01 ~]# umount -lf /data/w/

统一用户

### 创建uid=666、gid=666的用户和用户组
[root@web01 ~]# groupadd -g 666 www
[root@web01 ~]# useradd -u 666 -g 666 www -s /sbin/nologin -M
[root@web01 ~]# id www
uid=666(www) gid=666(www) groups=666(www)
### 修改apache配置文件
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf
User apache   ==>   User www
Group apache  ==>   Group www

NFS案例实践

准备3台虚拟机服务器，并且按照要求搭建配置NFS服务。

  • 1、在NFS服务端(A)上共享/data/w(可写)及/data/r(只读)
  • 2、在NFS客户端(B/C)上进行挂载

环境准备

主机名 外网IP 内网IP 角色
web01 10.0.0.7 172.16.1.7 网站服务NFS(客户端)
web02 10.0.0.8 172.16.1.8 网站服务NFS(客户端)
NFS 10.0.0.31 172.16.1.31 网站服务NFS(服务端)

配置服务端

### 安装NFS
[root@nfs ~]# yum install -y nfs-utils
### 配置服务端
[root@nfs ~]# vim /etc/exports
/data/r 172.16.1.0/24(ro,sync,all_squash,anonuid=666,anongid=666)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
### 创建对应用户
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www -s /sbin/nologin -M
[root@nfs ~]# id www
uid=666(www) gid=666(www) groups=666(www)
### 创建共享目录
[root@nfs ~]# mkdir /data/{r,w} -p
[root@nfs ~]# chown -R www.www /data
### 重启服务
[root@nfs ~]# systemctl restart nfs

配置客户端

### 安装NFS
[root@backup ~]# yum install -y nfs-utils
### 启动服务
[root@backup ~]# systemctl start nfs
[root@backup ~]# systemctl restart nfs
### 创建本地挂载点目录
[root@backup ~]# mkdir -p /data/{r,w}
### 创建对应用户
[root@backup ~]# groupadd -g 666 www
[root@backup ~]# useradd -u 666 -g 666 www -s /sbin/nologin -M
[root@backup ~]# id www
uid=666(www) gid=666(www) groups=666(www)
### 查看挂载点
[root@backup ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
### 挂载对应共享目录
[root@backup ~]# mount -t nfs 172.16.1.31:/data/r  /data/r
[root@backup ~]# mount -t nfs 172.16.1.31:/data/w  /data/w
### 查看是否挂载
[root@backup ~]# df -h
文件系统           容量  已用  可用 已用%   挂载点
172.16.1.31:/data/r   19G  1.5G   18G    8% /data/r
172.16.1.31:/data/w   19G  1.5G   18G    8% /data/w
### 切换到www用户测试/data/r读权限
[www@backup r]$ pwd
/data/r
[www@backup r]$ cat edu.com
This is Nfs to Oldboy
[www@backup r]$ touch edu
touch: cannot touch ‘edu’: Read-only file system
### 切换到www用户测试/data/w写权限
[root@backup r]# cd /data/w/
[root@backup w]# pwd
/data/w
[root@backup w]# touch bbbback
[root@backup w]# ll
total 0
-rw-r--r-- 1 www www 0 Jul 26 09:22 backup_w
-rw-r--r-- 1 www www 0 Jul 26 09:26 bbbback
### 实现开机自动挂载
[root@backup ~]# echo "172.16.1.31:/data/r /data/r nfs defaults 0 0" >>/etc/fstab
[root@backup ~]# echo "172.16.1.31:/data/w /data/w nfs defaults 0 0" >>/etc/fstab
# 注意: 当将远程挂载设备写入/etc/fstab文件后，一定要执行mount -a
[root@backup ~]# mount -a
[root@backup ~]# df -h
文件系统           容量  已用  可用 已用%   挂载点
172.16.1.31:/data/r   19G  1.5G   18G    8% /data/r
172.16.1.31:/data/w   19G  1.5G   18G    8% /data/w
# 如果编写错误会有如下提示
mount.nfs: access denied by server while mounting 172.16.1.31:/data/w

### 卸载NFS
#1.正常卸载
[root@backup ~]# umount /data/w/
#2.强制卸载
[root@backup ~]# umount -lf /data/w/

NFS扩展项

### 扩展:无需重启NFS服务平滑加载配置文件
[root@nfs r]# cat /etc/exports
/data/r 172.16.1.0/24(ro)
/data/p 172.16.1.0/24(ro)
/data/w 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
 
[root@nfs r]# exportfs -rv
exporting 172.16.1.0/24:/data/w
exporting 172.16.1.0/24:/data/p
exporting 172.16.1.0/24:/data/r
### 扩展:nfs客户端挂载参数
[root@web01 ~]# mount.nfs4 -o noatime,nodiratime,noexec,nodev,nosuid 172.16.1.31:/data/r /data/r/
### 扩展:nfs客户端永久挂载参数
[root@web01 ~]# tail -2 /etc/fstab
172.16.1.31:/data/r /data/r nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
172.16.1.31:/data/w /data/w nfs defaults,noatime,nodiratime,noexec,nodev,nosuid 0 0
### 扩展:客户端检查挂载参数是否生效
[root@web01 ~]# mount
# 等价于
[root@web01 ~]# cat /proc/mounts 
### 扩展：只允许指定客户端挂载
# 将允许访问的NFS客户端的子网掩码由24修改为32
[root@nfs ~]# vim /etc/exports
/data/r 172.16.1.8/32(ro,sync,all_squash,anonuid=666,anongid=666)
posted @ 2023-05-15 08:47  KKKDexter  阅读(125)  评论(0)    收藏  举报