84年的矿泉水

博客园 首页 新随笔 联系 订阅 管理
  83 Posts :: 1 Stories :: 645 Comments :: 0 Trackbacks

公告

随笔分类 - DFS

主要讲述了使用和改进DFS的经过。
摘要: 话说到今天为止,使用FDFS已经有一年零2天时间了,在fish和测试兄弟小黑的帮助下一年下来算是没出啥岔子,目前DFS可以说是公司内最稳定的服务之一(其实可以把之一去掉)。最近FDFS在fish的主导下越做越大,论坛起来了,群也起来了,版本迭代也更快了。不过这篇文章是应群中几个朋友的邀约...阅读全文
posted @ 2010-12-17 07:57 xvhfeng 阅读(3463) | 评论 (10) 编辑

摘要: 星期六去参加cnblogs的活动,在那边和dudu聊天,他突然问我:你们公司的用户上传图片是怎么解决的?dudu命也真好,因为我们公司的dfs就是我做的,上个月在cnblogs上还做过一次讲座,讲的也是DFS。看来大家对解决用户上传文件的方案还是比较急迫的,所以DFS已经拿出来开源了。...阅读全文
posted @ 2010-08-09 11:12 xvhfeng 阅读(2706) | 评论 (4) 编辑

摘要: 虽然在开源出来的FastDFS客户端中有一个示例,并且配有客户端的配置文件,但是今天开了一个小会,感觉还是有必要写一个使用指南来说明一下这个客户端的使用方法。 在开源的包中有FastDFS.Client和FastDFS.Web(以下简称client和web)两个项目文档,前一个就是整个客户端的源...阅读全文
posted @ 2010-05-17 14:39 xvhfeng 阅读(4937) | 评论 (15) 编辑

摘要: 最近我发现在我blog上的一篇关于FastDFS客户端的文章被很多人点击过了。我分析了一下(一厢情愿的),可能是因为DFS没有net的客户端吧!后来联系上了FastDFS的作者,证实确实缺乏“官方”的net客户端,正好以前应用过DFS,也写了一个net的客户端,所以就正式贡献出来开源。 ...阅读全文
posted @ 2010-05-16 19:50 xvhfeng 阅读(3868) | 评论 (6) 编辑

摘要: 这几天,我们扩展了dfs的一些功能,特别是增加了批量上传的功能和更改了文件的上传路径功能,这些功能使我们的dfs更容易的管理,更节省资源。 先说说更改文件路径这个功能。这个功能是我一个同事更改完成的,据了解,他在storage_service.c这个文件中找到storage_...阅读全文
posted @ 2010-02-10 10:50 xvhfeng 阅读(2105) | 评论 (0) 编辑

摘要: 前几天因为工作的关系给dfs增加了“批量上传功能”,另外前段时间为了让dfs文件拥有更好的可管理性,给dfs目录前面加上了“YYYYMM”的文件前置符。这些工作都是基于dfs1.21版本开发的,但也可以在任一一个版本中加入使用。下面就讲讲完成这些工作的做法,想法,和为什么这么做的原因。...阅读全文
posted @ 2010-02-09 18:54 xvhfeng 阅读(669) | 评论 (0) 编辑

摘要: 昨天完成了dfs批量上传文件的服务器端程序,再第一时间就拿出来共享了。当然了,程序比较乱,那是因为我调试的一些信息都留在里面了,是原汁原味的东西,包括一些注释什么的都没有删除,我认为这些东西应该能起到让人更快理解程序的作用,所以就全部放出来了。当然了也有可能注释的错的,大家见谅啊。 今天完成了客...阅读全文
posted @ 2010-02-04 10:12 xvhfeng 阅读(858) | 评论 (0) 编辑

摘要: 话说使用dfs在生产环境中还算稳定,也没出什么大的乱子。鉴于我们业务的需要,前段时间准备开始自己增加一个批量上传文件的功能。后联系到dfs的作者,和他聊了一下,在他的帮助下,完成了批量文件上传功能。因为dfs是开源的,和作者沟通后,把代码放出来,供大家各取所需。 因为本人以前一直是ms的忠实用户...阅读全文
posted @ 2010-02-03 23:43 xvhfeng 阅读(1295) | 评论 (1) 编辑

摘要: 以前一直不理解网络编程的概念和一些实现手法。这几天因为DFS的事情,老是和DFS的服务器代码和客户端代码打交道。 因为需要使用dfs,所以只好自己写了一个DFS的net客户端,因为业务的需要,DFS系统也需要增加了一个批量上传文件的功能。有点收获,共享一下。 首先是协议。...阅读全文
posted @ 2010-01-31 23:10 xvhfeng 阅读(645) | 评论 (0) 编辑

摘要: 昨天晚上,搞定了fastdfs在ub9.04上面的编译,悟出了一些道理。今天上班兴奋呐,直接打开ub,差点误了大事,一个视频会议的邮件通知没收到。因为以前一直使用的是ms-win,邮件也是foxmail,会后,痛下决心,一定要搞定fastdfs在cygwin下的编译。 整个过程还是印证了一个道理...阅读全文
posted @ 2010-01-18 16:00 xvhfeng 阅读(1333) | 评论 (0) 编辑

摘要: 为了更好的使用FastDFS(以下简称“DFS”),我们需要对DFS进行一些小范围的DIY。和DFS的作者聊了一下,发现DFS是执行make。sh文件来产生makefile,然后调用make编译执行的,这样的话,在eclipse中就给一些需要改动的朋友带来了困惑,我花了一个晚上的时间,...阅读全文
posted @ 2010-01-17 23:07 xvhfeng 阅读(883) | 评论 (1) 编辑

摘要: 之所以叫为工程,只是本人的一点私人意愿。本人一直是MS平台的忠实fans,最近因为工作的需要开始接触linux平台,接触了国内一款开源的FastDFS系统,所以,对个人而言,c和linux本身就是一个新鲜的玩意,故只好当作工程来做了。 前几天联系了一下DFS的作者,这里...阅读全文
posted @ 2010-01-17 00:11 xvhfeng 阅读(493) | 评论 (0) 编辑

摘要: 今天,忙了一天,在运维兄弟的帮助下终于把DFS系统部署完毕了,留下的就是业务系统的上线了。那个时候,对dfs整个系统的一个真正的考验到来了。 今天部署dfs,按照我们以前的既定的方式进行,我觉得对于这个dfs系统,没有什么多说的话,我可以把简易的部署图共享给大家,大家看了部署图应该比...阅读全文
posted @ 2009-12-01 22:07 xvhfeng 阅读(792) | 评论 (0) 编辑

摘要: 近期,因为工作的需要,发现了国人写的一款基于lunix、用纯c写成的一款分布式文件系统管理软件,名叫FastDFS。仔细了拜读了作者的源代码后,感觉此开源软件还不错,性能和功能应该是能满足一定量的业务需要。后来发现此软件没有.Net客户端,所以就照着DFS的API写了一个。 我为此客户端写了如下的...阅读全文
posted @ 2009-11-27 16:52 xvhfeng 阅读(1744) | 评论 (2) 编辑

摘要: 据我了解不少中小型文件系统都是通过数据库实现的,数据库作为备份角色,二进制文件需要转出来应用,具体流程如下: 后来我了解到,当时怎么设计是因为站点刚刚起来的时候,业务量不是很大,而且这种设计有几个优点 数据可以永久保存; 数据迁移方便; 所以在当时这样的设计已经符合了业务的需求和系统的性能...阅读全文
posted @ 2009-11-26 09:18 xvhfeng 阅读(741) | 评论 (0) 编辑