代码改变世界

随笔分类 -  文件系统

文件系统那些事-第5篇 并行文件系统之蓝色选择GPFS

2012-03-15 22:54 by myjava2, 534 阅读, 收藏,
摘要: GPFS[i](General Parallel File System)是一个IBM为在RS/6000 SP服务器上使用的一般目的(general-purpose)的可扩展文件系统。GPFS继承了PIOFS文件系统。它是为高端的并行编程需要而设计的高性能文件系统。可扩放性也许是GPFS最突出的特性。可扩放性指的是可以通过添加附加的相同甚至更少容量的硬件来获得读写性能的提升。一个真正可扩展的文件系统必须能提供大容量和高吞吐率。GPFS文件系统可以在容量上达到几Terabyte,提供GB/sec的吞吐率。作为一个AIX文件系统,GPFS继承了对超过2 gigabyte大小的大文件的支持。GPFS 阅读全文

文件系统那些事-第4篇 并行文件系统之开源解决方案Lustre

2012-03-05 22:25 by myjava2, 589 阅读, 收藏,
摘要: 在高性能存储领域,Lustre是一个如雷贯耳的名字。据统计(2011年7月),世界十大超级计算中心当中的七个以及超过50%的全球top50超级计算机都在使用Lustre。Lustre是一个基于对象的,分布式文件系统,一般用于大规模集群计算。Lustre的名字是由Linux和集群(cluster)融合得来。该项目旨在为有成千上万的节点的集群提供一个支持PB的存储容量的文件系统,同时又不损害其速度、安全性和可用性。基于对象的文件系统将文件的元数据和文件数据分离开来,存储在不同的服务器上。文件元数据存储在元数据服务器里,而文件数据则存储在对象存储服务器(object storage server)里 阅读全文

文件系统那些事-第3篇 影响文件系统性能的关键因素:存储块分配和布局策略

2012-03-04 10:25 by myjava2, 793 阅读, 收藏,
摘要: 文件系统的分配和布局策略直接影响到文件系统访问的性能。为此,现代的文件系统都采用各种优化手段。3.1块的再分配为了让设计简单,而且对最差情况下产生的文件系统碎片进行限制,传统的文件系统将磁盘分成大小相等的磁盘块。由于磁盘扇区的大小一般为512,块的大小一般也为512的整数倍字节。在传统的文件系统中,整个磁盘块只能分配给单独的一个文件。但是由于文件大小并不总是文件系统块大小的整数倍,所以这种设计使得最后的那个磁盘块(称为尾部)只被部分利用,这就产生了内部碎片。块的再分配(block suballocation)就是将尾部块再次分块,使得它可以被用来存储其它文件的片段。一些块的再分配方案能够实现字 阅读全文

文件系统那些事-第2篇 不可不知的文件系统特性

2012-03-02 22:11 by myjava2, 316 阅读, 收藏,
摘要: 判断一个文件系统是否具有某些特性,是听从不同方面区分和对比文件系统的一种有效方式。一些常见的文件系统的特性如下。2.1 硬链接硬链接是指向存储卷上文件的目录引用(reference)或者指针(pointer)。与该文件关联的名称是一个存储在目录结构中的标签。这个标签将操作指向文件的数据。通过这种方法,同一个文件就可以和多个名字相关联。当使用这些不同的名字时,所作的任何改动都将影响到同一个文件数据。使用硬链接有很多的限制。首先为了防止以防止无休止的递归,大多数现代操作系统不允许对文件夹创建硬链接。其次硬链接的链接数目也受到引用计数的位数限制。另外硬链接只能使用在和文件相同的文件系统上,如果需要链 阅读全文

文件系统那些事-第1篇 丰富多样的文件系统

2012-03-02 00:45 by myjava2, 234 阅读, 收藏,
摘要: 什么是文件系统,文件系统可以进行怎样的分类?这是本篇将要谈论的问题。文件系统[i]是存储和组织计算机文件和文件中所包含的数据,以方便地找到和存取它们的方法。更加正式地说,文件系统是一个用来存储、分级管理、处理、导航(navigation)、访问和恢复数据的抽象数据种类(例如元数据)的集合。本篇[ii]从各个方面对诸多常见文件系统进行了对比。文件系统可以分为磁盘文件系统、网络文件系统和特殊目的的文件系统。进一步的,可以通过以下几个概念对文件系统的概念进行区分。1.1磁盘文件系统磁盘文件系统是为在磁盘这样的存储器中存储数据而设计的文件系统。存储器都直接或者间接地与计算机相连。一些磁盘文件系统使用日 阅读全文