FastDFS简介

一、背景

  • 早期的网站,将静态文件(图片等)直接存放在项目文件夹内,优点(简单方便快捷),缺点(耦合度高,静态文件访问占用资源多);
  • 后来将静态文件分离存储在一个单独的文件服务器上,优点(解耦,降低网站服务器压力,便于扩容、备份、负载均衡等),缺点(垂直扩展性、容灾差,单机性能瓶颈);
  • 分布式文件存储系统,分为三部分,文件存储系统(保存文件)、文件容灾系统(相互备份)、文件访问调度仲裁系统(调配资源,决定存储位置),优点(极大扩展能力,高可用性,弹性存储),缺点(系统复杂度高,需要更多硬件资源)。

二、FDFS简介

FastDFS是一个开源的轻量级分布式文件系统,它解决了大数据量存储和负载均衡等问题,特别适合以中小文件(建议范围:4KB-500MB)为载体的在线服务,使用纯C实现。

优势:适合通用分布式,fastDFS非常适合存储图片等那些小文件,fastDFS不对文件进行分块,所以它就没有分块合并的开销,fastDFS网络通信采用socket,通信速度很快。

FastDFS分为三个部分:

1. tracker server(追踪/调度服务器)

主要做调度工作,起负载均衡的作用,在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽,且Tracker是FastDFS的协调者,负责管理所有的storage server和group,通过心跳机制与storage建立联系并更新自己的信息,其数据全部存储在内存中。

2. storage server(存储/数据服务器)

以组(group)为单位组织(便于应用隔离、负载均衡、副本数定制(group内storage server数量即为该group的副本数),如将不同应用的数据存储至不同的组,同组内不同服务器上的文件是完全相同的),一个group内包含多台storage机器,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。

3. client(客户端)

作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

 

三、FastDFS文件上传下载流程

1. 上传流程

 

2. 下载流程

 

posted @ 2020-01-19 16:02  codedot  阅读(642)  评论(0编辑  收藏  举报