项目备案-DFIS(Newegg-2007-05)
项目名称:DFIS(文件处理服务)
项目背景:
目前公司的图片文件管理存在以下几个问题:
1、 通过文件服务器开放共享目录,以供各应用程序进行维护,这带来非常多的安全隐患,目前的结果是该文件服务器上病毒成灾;
2、 文件服务器上文件树型结构,目录下文件过多时,导致无法使用资源管理器打开文件夹,因此,需要采用扁平的文件结构;
3、 目前外部用户(Akamai)访问时,都是从文件服务器拿文件,而没有缓存处理,导致文件服务器的IO操作频繁,因此,需要设置Slave server来设置缓存;
4、 目前,各应用程序大都部署在国内,而文件服务器部署在美国,在对文件进行存储、读取时速度较低,因此,需要设置Slave Server进行缓存;
5、 目前文件服务器只有1个,不利于应付可能发生的单点失败,因此,需要扩展结构;
6、 提供良好的维护图片或文件的接口服务,以改变原先直接通过文件服务器上文件共享方式进行.
技术背景:
1、目前服务器现有文件是八百一十万
2、平均每天的访问量是5m/s(高峰期),到Akamai为100-90m/s.
项目需实现的功能:
i、处理文件请求
部署请求文件服务站点及相关组件,以支持来自客户端系统和Akamai对文件的请求进行响应。
ii、数据处理功能
将现有文件存储服务器上的文件结构转换为以File Group、File Type分组进行管理的目标结构。
iii、上传文件
部署上传文件服务站点及相关组件,以支持来自客户端系统上传文件到存储服务器。
V、缓存管理
文件缓存,缓存及时清除与过期缓存定期清除,缓存策略根据File Group、File Type制定。
Vi、文件管理中心
部署一组服务,以支持通过图形化界面工具列表文件、查看文件明细、上传文件。
解决方案:
i、Slave Server 处理所有从Akamai和内部系统过来的所有文件请求
ii、Master Server Slave Server与FileRepository的中间服务器,处理从FileRepository上拿文件
iii、FileRepository 存储文件的服务器
技术方案:
i、Slave Server
1)运用HttpModule编程,处理所有文件请求;
2)运用HttpHandler编程,处理内部系统上传文件的请求;
3)运用Console编程,处理Slave文件缓存,包括缓存策略的处理;
ii、Master Server
1)运用HttpModule编程,处理从Slave Server过来的文件请求;
2)Ftp编程,处理从Slave Server上传上来的文件的请求;
iii、FileRepository
1)运用Console编程,解决目前文件系统的结构与清除垃圾文件;
2)运用WinForm编程,实现FileRepository上的文件管理;
V、错误处理机制
1)调用公司的邮件服务API
2)调用公司的记录日志的API
浙公网安备 33010602011771号