摘要：
MooseFS通过检查缓存的文件是否被其它的客户端修改，来决定缓存是否有效，感觉与我实现的那个版本的DNFS缓存机制一模一样，客户端在判断缓存是否有效时，需要连接元数据服务器进行确认，以下详细的说明在集中情况下对缓存的处理。 场景1：
机器A读取文件X，（X的元数据被加入到机器A的缓存）
机器B读取文件X
此时，机器A欲读取/修改文件X（cache有效，因为文件没有被修改过） 场景2
机器A读... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(319)
评论(0)
推荐(0)
摘要：
学习分布式文件系统时，曾经download了moosefs的源代码，做了简单的测试，发现moose的实现效率还不错，在阅读器源代码时，发现了其封装了C socket接口，于是把相关的文件保存下来了。昨天闲着没事，想测试一下这个socket接口，在测试udp时，发现服务器接收到数据后，不能正确的向客户端返回信息。 阅读了代码发现问题在udpread函数上，udpread的实现如下： int ud... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(203)
评论(0)
推荐(0)
摘要：
对于单元数据服务器的集群，单元数据服务器会造成瓶颈，很多分布式文件系统通过采用元数据服务器集群的模式进行扩展，首先要解决的问题就是系统的元数据以什么方式分布在元数据服务器集群中。目前一些主流的分布式文件系统中使用的方案主要包括Table-Based Mapping，Hashing-Based Mapping，Static Tree Partitioning，Dynamic Tree Part... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(669)
评论(0)
推荐(0)
摘要：
1. 用户空间文件系统 用户空间文件系统位十内核之外，实现为一个用户进程或者一个运行库。在用户空间开发文件系统的主要原因是，开发工作相对比较简单。这种方法避免了内核编程的复杂性，极大的简化了开发工作。用户级文件系统的另一个优点是，文件系统可以由用户自己安装，不需要系统管理员的参与，这给用户使用文件系统提供了很大的灵活性。一个运行在用户空间的文件系统这样与用户进程和操作系统进行交互(以读文件操作为... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(625)
评论(0)
推荐(0)
摘要：
每次逛fuse的sourceforge主页都会有新的收获，今天在Filesystem Based on Fuse列表中，发现了一个fusefile的文件系统，其提供将一个文件挂载到另一个文件上的功能（支持偏移和追加模式），如对于/dev/sda的磁盘文件，通常是不推荐用户直接读写磁盘文件的，一旦不小心破坏了超级块或重要的数据块就麻烦了。此时就可通过fusefile，将/dev/sda的一部分挂载... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(362)
评论(0)
推荐(0)
摘要：
分布式存储系统中，元数据服务器通常是一个集中管理者，通常由它选择（根据一些负载均衡算法）合适的存储节点来存储文件数据，这就形成了文件元数据中的映射元数据部分，映射元数据记录文件数据分布信息。 常用的实现方法为存储节点周期性的向元数据服务器报告状态信息，元数据服务器根据这些节点的信息选择负载最小的存储节点作为本次请求的数据服务者，这就要求元数据服务器为每个文件维护一个数据分布链，当文件很大，而数据... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(650)
评论(0)
推荐(0)
摘要：
腾讯的纯真IP数据库收集了包括中国电信、中国移动、中国联通、长城宽带、聚友宽带等 ISP 的最新准确 IP 地址数据，包含了IP地址与国家/地区的对应关系，其信息保存在QQWry.dat文件中。 IP数据库应用的场合较为广泛，下面举几个常见的例子：
1.根据客户的IP地址确定客户来源，为后期的客户行为分析提供基础，例如需要统计学生群体的访问特点，这时我们就是通过分析来自教育网的IP地址的那些请... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(578)
评论(0)
推荐(0)
摘要：
最近两个月都在研究元数据组织与检索的问题，没有方向、没有借鉴，没有取得任何进展。在调研的过程中，发现自己很out，win7的强大是我之前没有想到的，以为Win7只是界面绚丽了一些，用户体验好了一点点，但没有发现Win7的库那么强大，据我所知，很多Win7的用户并不使用库。 Win7的库是建立在文件系统之上，按照文件的属性/标签（可设置）建立索引（以文件的形式），通过库能很方便的管理系统的文档、... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(175)
评论(0)
推荐(0)
摘要：
Lucene不是一个完整的全文索引应用，而是是一个用Java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能，Lucene的目标是为各种中小型应用程序加入全文检索功能。（参考http://www.chedong.com/tech/lucene.html）
Lucene包含分词，索引，搜索等几个模块，支持单个关键字查询、范围查询、短语查询等，为构建全文搜索引擎提... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(322)
评论(0)
推荐(0)
摘要：
FAT文件系统分为三个部分：保留区、FAT区和数据区，如下所示：
|--- 保留区 ---|--- FAT1 ---|---FAT2---|---数据区 ---| 1． 保留区中包含文件系统的一些总体信息，类似于unix文件系统里的超级块信息。
2． FAT区包含文件的分配表链。
3． 数据区存放实际的文件数据(目录的数据为目录项列表)。 本人电脑C盘的空间约为40G，簇大小为32k（簇类似... 阅读全文
posted @ 2013-04-19 14:08
ydzhang
阅读(1683)
评论(0)
推荐(0)
浙公网安备 33010602011771号