分布式文件系统MooseFS

1.    MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据的多个副本分别存放在不同的物理机上面。对于客户端来说， 就是一个资源。

       特点：分层的目录树结构。

                  基于ip和密码访问。

       特性： 高可靠性，每个数据可以设置多个副本，并可以存储在不同的主机上。

                   高可扩展性，可以通过增加主机磁盘容量或增加主机数量来动态扩展整个文件系统的存储量。

                   高可容错性，可以通过设置mfs进行系统设置，实现当数据文件被删除后的一段时间内，依然存放于主机的回收站中，以备误删恢复数据。

                   高数据一致性，即使文件被写入与访问时，我们依然可以轻松完成对文件的一致性。

       优点：

                   轻量，易配置，易维护。

                   开发活跃，社区也较活跃，资料丰富。

                   以文件系统方式展示：如存图片，虽然存储在ChunkServer上的数据是二进制文件，但是挂载在mfs的Client端仍以图片文件形式展示，便于数据备份。

                   硬盘利用率高。

                   可设置删除文件的空间回收时间，避免误删文件丢失。

                   系统负载，可以分配到所有的服务器上。

                   设置文件备份的副本数量。一般建议3份。

        缺点：

                    master目前单点。Drbd+Heartbeat方案或者Drbd+inotify方案。

                    master服务器对主机的内存要求高。

                    metalogger复制元数据间隔较长（可调整），默认是24小时。

        应用场景：

                    大规模高并发的线上数据存储及访问（小文件和大文件）

                    大规模的数据处理，如日志分析。小文件性能不如HDFS.HDFS适用于日志分析。

                    尽量在前端加CACHE应用，而不是一味的扩充文件系统。

                    

         主要的分布式系统：

                     Hadoop：一般用于日志分析。

                     FastDFS:

                     FreeNFS:

                     NFS: 中小型公司使用最多。

                     MooseFS:要学习的分布式文件系统。

2.     MooseFS结构说明

        四部分组件组成。

        管理服务器：managing server    简称：master.

               除了分发用户请求外，查本地的内存，查meta元数据信息，返回给用户。这个master，只能有一台处于激活工作的状态。

        元数据备份服务器： Metadata backup servers    简称：backup

               备份metadata信息日志文件，之接收metadata信息。

        数据存储服务器组    data servers   (chunk servers)     简称： data

                真正存放数据文件的实体服务器。

        客户机服务器组   client

　　　　 Linux 2.6.14以上版本，并且需要支持FUSE。

3.     MFS的版本选择：

        官网：https://moosefs.com/download/#older

4.     MFS的安装：

To install MooseFS from officially supported repository on EL7, follow the steps below:

Add the key:
# curl "http://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

Add an appropriate repository entry:
# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
then install appropriate MooseFS components:
For Master Servers:
# yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
For Chunkservers:
# yum install moosefs-chunkserver
For Metaloggers:
# yum install moosefs-metalogger
For Clients:
# yum install moosefs-client
Note: If you like to install MooseFS on EL6 distributions, just change MooseFS-3-el7.repo in repository URL to MooseFS-3-el6.repo

5.     为master服务器配置一个VIP.