mfs-用户

http://blog.csdn.net/liuyunfengheda/article/details/5260278　　MFS总结

http://bbs.chinaunix.net/thread-1643863-1-1.html 

http://bbs.linuxtone.org/thread-9190-1-1.html
http://tech.it168.com/a2012/0615/1360/000001360707_all.shtml
http://www.freeoa.net/osuport/storagebak/moosefs-use-summary_1623.html

chomd 755  /root/keepalived_notify.sh

可以用同网段的另一台服务器 arping 1 这个虚拟IP
看看对应该的MAC地址 可以知道虚拟IP对应的真实服务器

配置文件 不正确时 有时候日志会有以下提示
VRRP_Instance(VI_1) Now in FAULT state

advert_int 两台keepalived 这个参数 不一致时 日志会有以下提示
Keepalived_vrrp: advertissement interval mismatch mine=5000000 rcved=1

Metadata文件的大小取决于文件数(而不是他们的大小)，Changelog的大小取决于每小时的操作次数。

 

endangered    有危险的,濒危
over goal    超出目标，达到目标
under goal    没达到目标
pending deletion    正在删除

bottleneck　　瓶颈

[root@mfs-client mfs]# rpm -ql moosefs-ce-client
/etc/mfs/mfsmount.cfg.dist
/usr/bin/mfsappendchunks
/usr/bin/mfscheckfile
/usr/bin/mfsdeleattr
/usr/bin/mfsdelquota
/usr/bin/mfsdirinfo
/usr/bin/mfsfileinfo
/usr/bin/mfsfilepaths
/usr/bin/mfsfilerepair
/usr/bin/mfsgeteattr
/usr/bin/mfsgetgoal
/usr/bin/mfsgetquota
/usr/bin/mfsgettrashtime
/usr/bin/mfsmakesnapshot
/usr/bin/mfsmount
/usr/bin/mfsrgetgoal
/usr/bin/mfsrgettrashtime
/usr/bin/mfsrsetgoal
/usr/bin/mfsrsettrashtime
/usr/bin/mfsseteattr
/usr/bin/mfssetgoal
/usr/bin/mfssetquota
/usr/bin/mfssettrashtime
/usr/bin/mfssnapshot
/usr/bin/mfstools

 

测试1，一个读，一个写，非同时
[root@250-shiyan mfs1]# time dd if=500M of=/dev/null
1024000+0 records in
1024000+0 records out
524288000 bytes (524 MB) copied, 17.3807 s, 30.2 MB/s

real    0m17.404s
user    0m0.094s
sys     0m0.474s

[root@mfs-client mfs]# time dd if=/dev/zero of=500M bs=1024k count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 7.57029 s, 69.3 MB/s

real    0m7.579s
user    0m0.002s
sys     0m1.440s

测试2，停掉一台chunkserver的网络，会看到/mnt/mfs容量减半，恢复网络后容量又回来了
[root@mfs-client mfs]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root   15G  781M   13G   6% /
tmpfs                         246M     0  246M   0% /dev/shm
/dev/sda1                     485M   32M  428M   7% /boot
192.168.2.231:9421            100G  256K  100G   1% /mnt/mfs
[root@mfs-client mfs]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root   15G  781M   13G   6% /
tmpfs                         246M     0  246M   0% /dev/shm
/dev/sda1                     485M   32M  428M   7% /boot
192.168.2.231:9421            199G  256K  199G   1% /mnt/mfs

测试3，停掉一台chunkserver的网络后，在客户端检查发现2 copies变为1，即chunkserver的数量
[root@mfs-chunk1 sh]# service network stop
[root@mfs-client mfs]# mfscheckfile rsyslog.conf
rsyslog.conf:
 chunks with 2 copies:            1
[root@mfs-client mfs]# mfscheckfile rsyslog.conf
rsyslog.conf:
 chunks with 1 copy:              1


[root@mfs-client mfs]# mfscheckfile rsyslog.conf
rsyslog.conf:
 chunks with 2 copies:            1
[root@mfs-client mfs]# mfsfileinfo rsyslog.conf
rsyslog.conf:
        chunk 0: 00000000000000E4_00000001 / (id:228 ver:1)
                copy 1: 192.168.2.232:9422
                copy 2: 192.168.2.233:9422
[root@mfs-client mfs]# mfssetgoal 2 rsyslog.conf
rsyslog.conf: 2

 

测试4，master的测试，当只有一个master时，停掉服务
[root@mfs-master ~]# service mfsmaster stop
然后监控如下图：


客户端如下图：ls很长时间都不出来。


master再次启动后，客户端ls很快就出来了
[root@mfs-master ~]# service mfsmaster start
[root@250-shiyan mfs1]# ls
aa  logrotate.conf  passwd  rsyslog.conf  woei

停掉单点master后，会引起客户端df -h卡死，或ls时也卡死，终端都不能操作。
http://www.jsxubar.info/mfs%E5%8F%8C%E6%9C%BA%E5%88%87%E6%8D%A2%E6%B5%8B%E8%AF%95.html　　双机切换测试
metalogger实际上是一个冷备的概念，非实时，还需要手动参与
环境介绍：
需要两台机器，都安装了master,metalogger,cgiserv
我们首先启动主服务器mfsmaster和备服务器mfsmetalogger,然后停止主的master,然后使用备服务器恢复元数据信息,再在备服务器启动mfsmaster,最后在mfschunkserver和mfsclient上更新hosts记录.之后进行了倒换,将mfsmaster服务器又倒回到了最开始的服务器,将整个系统恢复原来的拓扑结构,整个过程几乎都是手工操作,在出现故障的情况下完全不能实现自动切换.测试表明moosefs在高可用性方面还有很多事情要做,还有很大的改善空间.
主：mfsmaster stop
客：ls /mnt/mfs

备：mfsmaster -a 恢复并启动

chunk与客户都要重新指向新的masterIP地址
chunk：更新hosts文件
#主ip
备ip

客户：更新hosts文件
#主ip
备ip

修改/etc/hosts文件的目的就是为了方便操作，这样就可以不用重启服务了。
其实hosts文件只是起一个解析作用,是否可以使用DNS代替,这样不用手动更新/etc/hosts文件
yum install moosefs-ce-metalogger
rpm -ql moosefs-ce-metalogger
cd /etc/mfs/

加入master的ip就可以了
vi mfsmetalogger.cfg
cd /var/lib/mfs/
[root@mfs-metalog mfs]# ll
total 16
-rw-r-----. 1 mfs mfs   54 Mar 13 09:37 changelog_ml.0.mfs
-rw-r-----. 1 mfs mfs  157 Mar 13 09:35 changelog_ml_back.0.mfs
-rw-r-----. 1 mfs mfs    0 Mar 13 09:35 changelog_ml_back.1.mfs
-rw-r-----. 1 mfs mfs 3147 Mar 13 09:35 metadata_ml.mfs.back
-rw-r-----. 1 mfs mfs 3147 Mar 13 09:30 metadata_ml.mfs.back.1

service moosefs-ce-metalogger start
日志里面有启动信息，如果发现日志时间记录不正确，重启rsyslog服务。
less /var/log/messages

目标（goal），是指文件被拷贝的份数，设定了拷贝的份数后是可以通过mfsgetgoal 命令来证实的，也可以通过mfsrsetgoal 来改变设定。
[root@250-shiyan mfs1]# mfsgetgoal /mnt/mfs1
/mnt/mfs1: 2
[root@250-shiyan mfs1]# mfsgetgoal -r /mnt/mfs1
/mnt/mfs1:
 files with goal        1 :          2
 files with goal        2 :          2
 directories with goal  2 :          4
[root@250-shiyan mfs1]# mfscheckfile passwd
passwd:
 chunks with 2 copies:            1
[root@250-shiyan mfs1]# mfsfileinfo passwd
passwd:
        chunk 0: 00000000000000E3_00000001 / (id:227 ver:1)
                copy 1: 192.168.2.232:9422
                copy 2: 192.168.2.233:9422
[root@250-shiyan mfs1]# mfsdirinfo /mnt/mfs1
/mnt/mfs1:
 inodes:                          8
  directories:                    4
  files:                          4
 chunks:                          4
 length:                       4527
 size:                       282624
 realsize:                   423936
一个不包含数据的零长度的文件,尽管没有设置为非零的目标（the non-zero “goal”）,但用mfscheckfile 命令查询将返回一个空的结果；将文件填充内容后，其会根据设置的goal创建副本；这时再将文件清空，其副本依然作为空文件存在。
[root@250-shiyan mfs1]# touch a
[root@250-shiyan mfs1]# mfscheckfile a
a:

假如改变一个已经存在的文件的拷贝个数，那么文件的拷贝份数将会被扩大或者被删除，这个过程会有延时。可以通过mfscheckfile 命令来证实。
对一个目录设定“目标”，此目录下的新创建文件和子目录均会继承此目录的设定，但不会改变已经存在的文件及目录的拷贝份数。

用mfsgetgoal –r 和mfssetgoal –r 同样的操作可以对整个树形目录递归操作
[root@mfs-client ~]# mfssetgoal 2 -r  /mnt/mfs
/mnt/mfs:
 inodes with goal changed:               5
 inodes with goal not changed:           0
 inodes with permission denied:          0
一个删除文件能够存放在一个“ 垃圾箱”的时间就是一个隔离时间，这个时间可以用mfsgettrashtime 命令来验证，也可以用mfssettrashtime 命令来设置。

[root@mfs-client trash]# ll
total 23
-rw-r--r--. 1 root root     0 Mar  4 11:32 00000002|aa~
-rw-------. 1 root root     0 Mar  4 11:31 00000003|.aa.swp
-rw-------. 1 root root     0 Mar  4 11:31 00000004|.aa.swpx
-rw-r--r--. 1 root root 12288 Mar  4 11:32 00000005|.aa.swp
-rw-------. 1 root root     0 Mar  4 11:31 00000006|.aa.swpx
被删文件的文件名在 “垃圾箱”目录里还可见,文件名由一个八位十六进制的数i-node和被删文件的文件名组成，在文件名和i-node之间不是用“/”,而是用了“|”替 代。如果一个文件名的长度超过操作系统的限制（通常是255个字符），那么部分将被删除。通过从挂载点起全路径的文件名被删除的文件任然可以被读写。需要 注意的是被删除的文件在用全路径文件名（注意文件名是两部分）时一定要用单引号引起来。
[root@250-shiyan mfs1]# mfsrgettrashtime a
deprecated tool - use "mfsgettrashtime -r"
a:
 files with trashtime             86400 :          1
[root@250-shiyan mfs1]# mfssettrashtime 64800 a
时间的单位是秒(有用的值有:1小时3600秒,1天86400秒,1周604800秒)。就像文件被存储的份数一样, 为一个目录设定存放时间是要被新创建的文件和目录所继承的。数字0 意味着一个文件被删除后, 将立即被彻底删除，在想回收是不可能的。

在开始mfsmount进程时，用一个-m或-o mfsmeta的选项，这样可以挂接一个辅助的文件系统MFSMETA，这么做的目的是对于意外的从MooseFS卷上删除文件或者是为了释放磁盘空间而移动的文件而又此文件又过去了垃圾文件存放期的恢复，例如：
mfsmount -m /mnt/mfsmeta
需要注意的是，如果要决定挂载mfsmeta，那么一定要在mfsmaster的mfsexports.cfg文件中加入如下条目：
*                       .       rw
[root@mfs-client mnt]# mfsmount -m /mnt/mfsmeta/ -H 192.168.2.231
mfsmaster accepted connection with parameters: read-write,restricted_ip

[root@mfs-chunk1 ~]# mfschunkserver test
mfschunkserver pid: 2720
[root@mfs-chunk2 ~]# mfschunkserver test
mfschunkserver pid: 2614
[root@mfs-chunk2 ~]# mfschunkserver stop
sending SIGTERM to lock owner (pid:2614)
waiting for termination terminated
[root@mfs-master ~]# mfsmaster test
mfsmaster pid: 2201

[root@mfs-master ~]# mfsmaster start
open files limit has been set to: 4096
working directory: /var/lib/mfs
lockfile created and locked
initializing mfsmaster modules ...
exports file has been loaded
topology file has been loaded
loading metadata ...
loading sessions data ... ok (0.0000)
loading objects (files,directories,etc.) ... ok (0.0557)
loading names ... ok (0.0663)
loading deletion timestamps ... ok (0.0000)
loading quota definitions ... ok (0.0000)
loading xattr data ... ok (0.0000)
loading posix_acl data ... ok (0.0000)
loading open files data ... ok (0.0000)
loading chunkservers data ... ok (0.0000)
loading chunks data ... ok (0.0645)
checking filesystem consistency ... ok
connecting files and chunks ... ok
all inodes: 5
directory inodes: 2
file inodes: 3
chunks: 2
metadata file has been loaded
stats file has been loaded
master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly

[root@mfs-chunk1 ~]# mfschunkserver start
open files limit has been set to: 16384
working directory: /var/lib/mfs
lockfile created and locked
setting glibc malloc arena max to 8
setting glibc malloc arena test to 1
initializing mfschunkserver modules ...
hdd space manager: path to scan: /sh/
hdd space manager: start background hdd scanning (searching for available chunks)
main server module: listen on *:9422
stats file has been loaded
mfschunkserver daemon initialized properly

[root@mfs-master ~]# mfscgiserv start
lockfile created and locked
starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

[root@mfs-chunk1 ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1              isize=256    agcount=4, agsize=6553514 blks
         =                       sectsz=512   attr=2, projid32bit=0
data     =                       bsize=4096   blocks=26214055, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=12799, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

 

客户端挂载点inode总是为1
[root@mfs-client mfs]# stat /mfs
  File: `/mfs'
  Size: 1000410         Blocks: 1954       IO Block: 65536  directory
Device: 12h/18d Inode: 1           Links: 2
Access: (0777/drwxrwxrwx)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2015-03-04 14:04:14.000000000 +0800
Modify: 2015-03-04 14:32:07.000000000 +0800
Change: 2015-03-04 14:32:07.000000000 +0800

客户端挂载点根目录有一个隐藏文件记录着信息
[root@mfs-client mfs]# cat .stats
fuse_ops: 240
fuse_ops.statfs: 1
fuse_ops.access: 12
fuse_ops.lookup: 107
fuse_ops.lookup.internal: 1
fuse_ops.lookup.master: 72
fuse_ops.lookup.master.error: 0
fuse_ops.lookup.master.negative: 33
fuse_ops.lookup.master.positive: 39
fuse_ops.lookup.cached: 34
fuse_ops.lookup.cached.negative: 12
fuse_ops.lookup.cached.readdir: 22
fuse_ops.getattr-cached: 1
fuse_ops.getattr: 9
fuse_ops.setattr: 4
fuse_ops.mknod: 0
fuse_ops.unlink: 4
fuse_ops.mkdir: 0
fuse_ops.rmdir: 0
fuse_ops.symlink: 0
fuse_ops.readlink: 0
fuse_ops.readlink.cached: 0
fuse_ops.readlink.master: 0
fuse_ops.rename: 1
fuse_ops.link: 0
fuse_ops.opendir: 8
fuse_ops.readdir: 15
fuse_ops.readdir.without_attrs: 0
fuse_ops.readdir.with_attrs: 5
fuse_ops.releasedir: 8
fuse_ops.create: 7
fuse_ops.open: 6
fuse_ops.release: 12
fuse_ops.read: 3
fuse_ops.write: 6
fuse_ops.flush: 13
fuse_ops.fsync: 1
fuse_ops.removexattr: 0
fuse_ops.listxattr: 0
fuse_ops.getxattr: 21
fuse_ops.setxattr: 1
negentry_cache.#entries: [30]
negentry_cache.search_misses: 72
negentry_cache.search_hits: 12
negentry_cache.removals: 8
negentry_cache.inserts: 38
symlink_cache.#links: [0]
symlink_cache.search_misses: 0
symlink_cache.search_hits: 0
symlink_cache.inserts: 0
master.reconnects: 0
master.bytes_sent: 41933
master.bytes_received: 112069
master.packets_sent: 3270
master.packets_received: 9046

 

 

测试环境
master 8核8G MEM
metalogger 8核8G MEM
chunkserver1 8核8G MEM 3disks
chunkserver2 8核8G MEM 3disks
chunkserver3 8核8G MEM 3disks
client1 8核8G MEM
client2 8核8G MEM
switch bandwidth 1G

1.读写测试
测试读写性能,2台客户机同时拷贝数据至MFS.
goal转换
Moose File System分布文件系统测试
2.冗余度测试
设置目录冗余度，在目录中创建文件，CRASH掉冗余度-1台节点，查看文件是否完整。
结论：完整
设置目录A冗余度，-r 2,设置目录冗余度B，-r 3,在目录A中创建文件a，查看文件a冗余度，拷贝a到B目录，查看a冗余度。将文件从A目录移动到B目录，查看移动后文件冗余度。
结论：移动不影响冗余度，复制冗余度受目录限制。
3.MASTER节点恢复测试
CRASH MASTER节点，恢复。查看数据是否丢失。
结论：无丢失。
4.chunkserver扩展测试
记录总容量A，增加节点，记录总容量B。比较A,B
结论：容量立即增加。
5.CHUNKSERVER节点crash测试
记录总容量A，CRASH某节点，记录总容量B，恢复某节点，记录总容量C。比较A,B,C
结论：CRASH后容量减去被CRASH的节点容量，恢复后容量恢复原状。
6.数据一致性测试
写A文件，CRASH某CHUNK，修改A文件，恢复某CRASH，查看A文件。
多个节点同时VI某个文件。
结论：文件一致。
7.回收站测试
超时测试：新建文件，设置trashtime，删除文件，查看剩余容量。比较超时设置与剩余容量。
回退测试：删除，回退。
结论：超时配置与预期一致，回退功能正常。
8.权限设置测试
测试目标uid,gid
结论：与目标UID,GID一致。
总结：
1.从MOOSEFS的架构可以看出最容易出现瓶颈的是MASTER节点部分，通信瓶颈或服务器的瓶颈
2.最好在MOUNT的时候取消文件和目录的CACHE，防止不同步
3.适当调整超时时间,必要时删除META立即回收空间
4.配置hotstandby提高可靠性，官方称可以将切换做到1分钟以内。
5.做好CHUNKSERVER的配额，防止溢出。 

 

changelog_ml.*.mfs
MooseFS filesystem metadata change logs (backup of master change log files)
changelog_ml.*.mfs是MooseFS文件系统的元数据的changelog日志(备份的Master 的Master的changelog日志。)

metadata.ml.mfs.back
Latest copy of complete metadata.mfs.back file from MooseFS master.
metadata.ml.mfs.back是从Master主机上下载的最新的完整metadata.mfs.back的拷贝

sessions.ml.mfs
Latest copy of sessions.mfs file from MooseFS master.
sessions.ml.mfs是从master下载的最新的sessions.mfs文件拷贝。

metadata.mfs.back #MFS元数据信息，延迟将内存数据写入文件，默认频率1h，默认1d同步一次此文件到metalogger server
changelog.*.mfs #文件操作日志记录，实时记录、同步到metalogger server
sessions.mfs #客户操作状态记录
stats.mfs #？


停止服务，删除所有文件后，但是保留metadata.mfs.empty，
[root@mfs-master mfs]# mfsmaster stop
sending SIGTERM to lock owner (pid:4530)
waiting for termination terminated
[root@mfs-master mfs]# ls
changelog.10.mfs  changelog.31.mfs    changelog_ml_back.0.mfs
changelog.11.mfs  changelog.33.mfs    changelog_ml_back.1.mfs
changelog.12.mfs  changelog.4.mfs     metadata.mfs
changelog.13.mfs  changelog.50.mfs    metadata.mfs.back.1
changelog.14.mfs  changelog.6.mfs     metadata.mfs.empty
changelog.1.mfs   changelog.7.mfs     metadata_ml.mfs.back
changelog.20.mfs  changelog.8.mfs     metadata_ml.mfs.back.1
changelog.30.mfs  changelog_ml.0.mfs  stats.mfs
[root@mfs-master mfs]# cp metadata.mfs.empty ../
[root@mfs-master mfs]# rm -rf *
[root@mfs-master mfs]# ls
[root@mfs-master mfs]# mv ../metadata.mfs.empty ./

master服务不能启动
[root@mfs-master mfs]# mfsmaster start
open files limit has been set to: 4096
working directory: /var/lib/mfs
lockfile created and locked
initializing mfsmaster modules ...
mfsexports: unknown option 'passwd=123' in line: 2 (ignored)
exports file has been loaded
topology file has been loaded
loading metadata ...
can't find metadata.mfs - try using option '-a'
init: metadata manager failed !!!
error occured during initialization - exiting

做如下操作便可启动
[root@mfs-master mfs]# ls
metadata.mfs.empty
[root@mfs-master mfs]# cp metadata.mfs.empty metadata.mfs
[root@mfs-master mfs]# ls
metadata.mfs  metadata.mfs.empty
[root@mfs-master mfs]# mfsmaster start
open files limit has been set to: 4096
working directory: /var/lib/mfs
lockfile created and locked
initializing mfsmaster modules ...
exports file has been loaded
topology file has been loaded
loading metadata ...
metadata file has been loaded
no charts data file - initializing empty charts
master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly
[root@mfs-master mfs]# ls
metadata.mfs.back  metadata.mfs.empty
主要元数据文件metadata.mfs，当mfsmaster运行的时候会被命名为 metadata.mfs.back
master server可以单独启动(所谓单独启动就是在没有数据存储服务器（chunkserver）的时候也可以启动，但是不能存储，chunkserver启动后会自动的加入）。安装配置完MFS后，即可启动它。

metadata.mfs, metadata.mfs.back
MooseFS filesystem metadata image
metadata.mfs, metadata.mfs.back是MooseFS文件系统的元数据metadata的镜像

启动之后，当chunkserver未加入前，客户端可以挂载，可以创建目录，但不能创建有数据的文件，因为这时候没有存储chunkserver加入进来。
加入进来之后，在客户端之前所做的操作就立马体现出来了，并且生成了changelog.0.mfs文件，

changelog.*.mfs
MooseFS filesystem metadata change logs (merged into metadata.mfs once per hour)
changelog.*.mfs 是MooseFS文件系统元数据的改变日志(每一个小时合并到metadata.mfs中一次)

[root@mfs-master mfs]# ll
total 12
-rw-r----- 1 mfs  mfs  619 Mar 13 04:51 changelog.0.mfs
-rwxr--r-- 1 root root   8 Mar 13 04:22 metadata.mfs.back
-rwxr--r-- 1 root root   8 Mar 13 04:20 metadata.mfs.empty
[root@mfs-master mfs]# ll
total 3348
-rw-r----- 1 mfs  mfs      619 Mar 13 04:51 changelog.1.mfs
-rw-r----- 1 mfs  mfs      835 Mar 13 05:00 metadata.mfs.back
-rwxr--r-- 1 root root       8 Mar 13 04:22 metadata.mfs.back.1
-rwxr--r-- 1 root root       8 Mar 13 04:20 metadata.mfs.empty
-rw-r----- 1 mfs  mfs  3410488 Mar 13 05:00 stats.mfs
[root@mfs-master mfs]# date
Fri Mar 13 05:19:32 EDT 2015




下面说明先要停chunkserver服务，再删除/var/lib/mfs/下的所有文件，否则不能删除
[root@mfs-chunk1 mfs]# ls
chunkserverid.mfs  csstats.mfs
[root@mfs-chunk1 mfs]# rm -rf *
[root@mfs-chunk1 mfs]# mfschunkserver stop
sending SIGTERM to lock owner (pid:19668)
waiting for termination terminated
[root@mfs-chunk1 mfs]# ls
csstats.mfs
[root@mfs-chunk1 mfs]# rm -rf *
[root@mfs-chunk1 mfs]# ls

删除以后，不能再启动，所以索性格式化磁盘，重来。
[root@mfs-chunk1 mfs]# mfschunkserver start
open files limit has been set to: 16384
working directory: /var/lib/mfs
lockfile created and locked
setting glibc malloc arena max to 8
setting glibc malloc arena test to 1
initializing mfschunkserver modules ...
hdd space manager: chunkserver without meta id can't use drive with defined meta id (file: '/sh/.metaid')
hdd space manager: no hdd space defined in /etc/mfs/mfshdd.cfg file
init: hdd space manager failed !!!
error occured during initialization - exiting

[root@mfs-chunk1 ~]# umount /sh
[root@mfs-chunk1 ~]# mkfs.xfs -f /dev/sdb1
[root@mfs-chunk1 ~]# mount /dev/sdb1 /sh/

再次启动，还是不行，更改权限即可
[root@mfs-chunk1 mfs]# mfschunkserver start
open files limit has been set to: 16384
working directory: /var/lib/mfs
lockfile created and locked
setting glibc malloc arena max to 8
setting glibc malloc arena test to 1
initializing mfschunkserver modules ...
hdd space manager: can't create lock file '/sh/.lock': EACCES (Permission denied)
hdd space manager: no hdd space defined in /etc/mfs/mfshdd.cfg file
init: hdd space manager failed !!!
error occured during initialization - exiting
[root@mfs-chunk1 mfs]# chown -R mfs:mfs /sh
[root@mfs-chunk1 mfs]# mfschunkserver start
open files limit has been set to: 16384
working directory: /var/lib/mfs
lockfile created and locked
setting glibc malloc arena max to 8
setting glibc malloc arena test to 1
initializing mfschunkserver modules ...
hdd space manager: path to scan: /sh/
hdd space manager: start background hdd scanning (searching for available chunks)
main server module: listen on *:9422
no charts data file - initializing empty charts
mfschunkserver daemon initialized properly