Fastdfs简介

Fastdfs简介

Fastdfs是一个开源的高性能分布式文件系统。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

FastDFS特点：

​ 1、分组存储，简单灵活；
​ 2、对等结构，不存在单点；
​ 3、文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server或meta server；
​ 4、大、中、小文件均可以很好支持，可以存储海量小文件；
​ 5、一台storage支持多块磁盘，支持单盘数据恢复；
​ 6、提供了nginx扩展模块，可以和nginx无缝衔接；
​ 7、支持多线程方式上传和下载文件，支持断点续传；
​ 8、存储服务器上可以保存文件附加属性。

FastDFS架构

FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳,tracker根据storage心跳信息，建立group --> [storage server list]的映射表；tracker管理的元数据很少，会直接存放在内存；tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，tracker之间是对等关系，因此扩展tracker访问非常容器，之间增加tracker访问即可，所有tracker都接受storage心跳信息，生成元数据信息来提供读写访问（与其他master-slave架构的优势是没有单点，tracker也不会成为瓶颈，最终数据是和一个可用的storage server进行传输

Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份,存储容量空间以group内容量最小的storage为准；建议group内的storage server配置相同；以group为单位组织存储能够方便的进行引用隔离、负载均衡和副本数定制。

缺点: group的容量受单机存储容量的限制，同时group内机器坏掉，数据恢复只能依赖group内其他机器重新同步(硬盘替换，重新挂载重启fdfs_storaged即可)

group存储策略

• round robin (轮训)
• load balance (选择最大剩余空间的组上传文件)
• specify group (指定group上传)

storage接受写请求时，会根据配置好的规则，选择其中一个存储目录来存储文件；为避免单个目录下文件过多，storage第一次启动，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。

Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

FastDFS上传过程

1、FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。

2、Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。

3、当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。

# 目前支持选择group的规则为:
1.Round Robin (所有group轮训使用)
2.Specified group (指定某个确定的group)
3.Load balance (剩余存储空间较多的group优先)

# 目前支持选择storage server的规则为:
1.Round Robin (所有server轮训使用)默认规则
2.根据IP地质进行排序选择第一个服务器 (IP地址最小者)
3.根据优先级进行排序 (上传优先级由storage server来设置，参数为upload_priority)

# 目前支持选择存储路径的规则为:
1.round robin (轮训)默认
2.load balance 选择使用剩余空间最大的存储路径

# 生成file_id
选择存储目录后，storage会生成一个file_id，采用Base64编码，字段包括: storage server ip、文件创建时间、文件大小、文件CRC32校验码和随机数；每个存储目录下有两个256*256个子目录，storage会按文件file_id进行两次hash，路由到其中一个子目录，然后将文件file_id为文件名存储在该子目录下，最后生成文件路径: group名称、虚拟磁盘路径、数据两级目录、file_id
group1 /M00/02/44/wkgDRe348wAAAAGKYJK42378.sh

FastDFS的文件同步

1.新增tracker服务器数据同步

​ 由于storage server上配置了所有的tracker server，storage server和tracker server之间的通信是由storage server主动发起的，storage server为每台tracker server 启动一个线程进行通信；在通信过程中，若发现tracker server返回的本组storage server列表比本机记录少，就会将该tracker server上没有的storage server同步给该tracker，这样的机制使得tracker之间是对等的关系，数据保持一致

2.组内新增storage数据同步

​ 若新增storage server或者其状态发生变化，tracker server都会将storage server列表同步给该组内所有storage server；以新增storage server为例，新加入storage server会主动连接tracker server，tracker server发现有新的storage server加入，就会将该组内所有的storage server返回给新加入的storage server，并重新将该组的storage server列表返回给该组内的其他storage server。

3.组内storage数据同步

​ 组内storage server之间是对等的，文件上传，删除等操作可以在组内任意一台storage server上进行。文件同步只能在同组内的storage server之间进行，采用push方式，即源服务器同步到目标服务器。

​ 写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。

每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。

storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。

storage server 7种状态

通过命令fdfs_monitor /etc/fdfs/client.conf可以查看ip_addr选项显示storage server当前状态

INIT       初始化，尚未得到同步已有数据的源服务器
WAIT_SYNC  等待同步，已得到同步已有数据的源服务器
SYNCING    同步中
DELETE     已删除，该服务器从本组中摘除
OFFLINE    离线
ONLINE     在线，尚不能提供服务
ACTIVE     在线，可以提供服务

组内增加storage server A状态变化过程:

1.storage server A主动连接tracker server，此时tracker server将storage serverA状态设置为INIT

2.storage server A向tracker server询问追加同步的源服务器和追加同步截止时间点(当前时间)，若组内只有storage server A或者上传文件数为0，则告诉新主机不需要同步数据，storage serverA状态为ONLINE；若组内没有active状态机器，就返回错误给新机器，新机器重新尝试；否则tracker将其状态设置为WAIT_SYNC

3.假如分配了storage server B为同步源服务器和截止时间点，那么storage serverB将会截止时间点之前的所有数据同步给storage server A，并请求tracker设置storage server A状态为SYNCING；到了截止时间后，storage server B向storage server A的同步将由追加同步切换为正常binlog增量同步，当获取不到更多binlog时，请求tracker将storage server A同步完所有数据，暂时没有数据要同步时，storage server B请求tracker server将storage server A的状态设置为ONLINE

4.storage server B向storage server A同步完所有数据，暂时没有数据要同步时，storage server B请求tracker server将 storage server A的状态设置为ONLINE

5.当storage server A向tracker server发起心跳时，tracker server将其状态更改为ACTIVE，之后就是增量同步(binlog)

下载

client发送下载请求给某个tracker，必须带上文件名信息，tracker从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用于读请求；由于group内的文件同步是异步进行，可能出现文件没有同步到其他storage server上或者延迟的问题，可以使用nginx_fastdfs_module模块解决