2013年9月10日

近似最优缓存替换算法

摘要: 缓存替换算法有很多种,FIFO是最简单的,LRU是最常用的,最优缓存替换算法则是命中率最佳的。因为我们无法预知数据的未来访问模式,通常最优替换算法是无法实现的。然而数据恢复则是例外:在备份的过程中,我们已经知道数据恢复的顺序。既然如此,何不通过最优缓存替换算法进一步改善命中率。数据去重原型系统destor里面已经实现了LRU缓存,并且工作得还不错,尽管如此,我仍然想看看最优替换算法能获得怎样的效果。1.种子文件备份的过程中,我记录下container的访问顺序,称之为种子文件,每个种子代表访问一个container。种子文件会作为最优替换算法的输入。2.滑动窗口如果我们一次性读取整个种子文件, 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(1400) 评论(0) 推荐(0)

利用value locality优化SSD

摘要: 原文:A. Gupta et al. Leveraging Value Locality in Optimizing NAND-Flash based SSDs.这篇文章和DFTL是同一作者。时间局部性。当前访问了某个数据(某个逻辑地址),那么不久的将来很可能还会访问这个数据;空间局部性。当前访问了某个数据(某个逻辑地址),那么不久的将来与其逻辑地址相邻的数据很可能会被访问。利用时间局部性和空间局部性可以减少SSD的负载,但是仍有另一种局部性可以挖掘,即value locality。value locality的意思就是某个数据(数据的内容,不仅仅是逻辑地址)被访问地更频繁。value loc 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(1141) 评论(0) 推荐(0)

内容感知FTL

摘要: 原文:Feng Chen et al. CAFTL: A Content-Aware Flash Translation Layer Enhancing the Lifespan of Flash Memory based Solid State DrivesSSD的寿命与三个参数有关:1.写负载;2.过量供应的容量;3.垃圾回收和损毁均衡的效率。写负载通常被认为是不可控的,而过量供应不可能无限制,所以大部分研究集中在垃圾回收和损毁均衡。CAFTL关注的是第一点。图1和图2验证了重复数据的存在。图1中,15块磁盘的重复度为7.9~85.9%,其中第7块磁盘(NTFS)大部分重复数据是零块,如果 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(904) 评论(0) 推荐(0)

SSD的特点

摘要: SSD属于半导体器件,目前主流SSD都采用NAND flash芯片。与磁盘相比,主要有以下优势:更高的随机访问性能,无寻道时间;低能耗;对温度和震动具有更强的适应性。SSD最大的问题是寿命和可靠性,擦除一定次数后SSD会损毁。此外:随着位密度上升,flash芯片的可靠性和寿命下降,这是容量和可靠性的矛盾;RAID不太适合SSD,因为SSD RAID中相关设备故障的概率很高;关于SSD可靠性的研究很多,毁誉参半,SSD的可靠性仍待证明。可靠性是部署SSD到商业系统的障碍。flash芯片还具有三个关键的技术限制:不能就地覆盖,写一个page之前必须擦除整个block;不能随机写,一个block内的 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(641) 评论(0) 推荐(0)

apache配置虚拟主机

摘要: 买了一个域名,但是只有一个小组的公用ip,这个ip已经被用于小组的网站。如果我简单将域名映射到这个ip,那么访问的将是小组的网站,要访问自己的博客,需使用域名/目录这种url,很不方便。针对一个ip对应不同域名的问题,可以通过配置apache虚拟主机解决。apache的主要配置文件是/etc/apache2/httpd.conf、/etc/apache2/sites-available/default等,default文件是一个虚拟主机的例子,这次不需要修改这些文件。创建一个文件new_site,输入内容:VirtualHost *:80ServerName www.fumin.meDocum 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(197) 评论(0) 推荐(0)

模拟iDedup算法

摘要: 在destor原型之上实现了类iDedup算法(介绍),其核心思想是只有当重复数据块在物理上连续才去重,可以通过一个threshold来设置序列的最小长度。因为底层存储并不是块设备,而是DDFS的container存储,不能判断数据块的DBN是否连续,所以我改为判断数据块所属container是否相邻。修改后的算法和iDedup算法的另一大区别是没有重复树,重复树用于记录存储系统中重复的数据块,在多个匹配中寻找最长的一个。考虑到备份系统的负载特点,我觉得这种需求是非常少见的,所以只查找最新备份的序列。修改后算法的流程图如下:算法的分支有些多,先画流程图再写代码可以少调很多bug。这幅图有一个小 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(397) 评论(0) 推荐(0)

伯克利的云计算报告(下)

摘要: 7.云计算的10大障碍云计算被公众接受有三大技术障碍;被接受后,云计算的增长又面临五大技术障碍;最后两个障碍是政策和商业障碍。云计算提供商在长期探索过程中会逐渐克服这些障碍。7.1服务的可用性用户最大的担心是云计算是否有足够的可用性,2008年Amazon EC2、GAE和Gmail都出现过服务中断的事故,持续数小时。只使用一家公司的云计算服务,会遇到单点故障的问题。即使这家公司非常大,有多个不同地理位置的数据中心,它们使用的仍然是同一套软件设施,甚至这家公司倒闭了怎么办。一些大企业会因为担忧这个问题而不愿意使用云计算。对于这个问题,唯一可行的解决办法是使用多家云计算提供商。另一个可用性问题是 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(258) 评论(0) 推荐(0)

伯克利的云计算报告(中)

摘要: 4.云计算的机遇建造和运维超大规模的商用数据中心是云计算最关键的助推器,同时新技术趋势和新商业模型也起到了很重要的作用。云计算一旦“起飞”,一些过去看来不现实的新应用和使用模型找到了出路。新技术和新的商业模式推动了云计算的发展。伴随Web2.0出现的,是从“high-touch, high-margin, high-commitment”的提供服务到“low-touch, low-margin, low-commitment”的自助服务的转变。比如,在Web1.0时代,接受陌生人的信用卡支付需要一份合约。这种合约适合大型商业关系,不适合个人用户和小型商业活动。PayPal出现后,任何个人接受信 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(415) 评论(0) 推荐(0)

伯克利的云计算报告(上)

摘要: 云计算并不是个新想法,但是谁也说不清楚什么是云计算。因此伯克利的一帮家伙花了6个月的时间,对云计算进行了思考,最终形成了"Above the Clouds: A Berkeley View of Cloud Computing"这篇文章。这篇文章的目的是明确云计算的术语,用简单的公式量化比较云计算和传统计算,指出云计算最突出的技术和非技术障碍,以及对应的机遇。归纳一下,文章分为下面八点:1.什么是云计算云计算应该既包括网络上的应用服务,也包括数据中心支撑应用服务的系统软件和硬件。应用服务很早就被称为SaaS,而我们现在所说的云指的是数据中心的系统软件和硬件。当云通过pay- 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(543) 评论(0) 推荐(0)

CAFTL和CA-SSD的比较

摘要: FAST'11同时收录了这两篇几乎相同主题的文章,分别用CAFTL(Feng Chen等)和CA-SSD(A. Gupta等)表示,下表比较了它们的主要特点。CAFTLCA-SSD工作位置FTLFTL去重单元pagepage映射表二级映射表,元数据区反向映射映射表LPT和逆向映射表iLPT指纹索引基于热度的LRULRU哈希计算取样法、预哈希专用硬件逻辑垃圾回收二级映射表记录引用次数iLPT记录逻辑地址集合它们都是在FTL集成数据去重,不需要修改上层应用;因为缺少上层文件系统语义信息,并且SSD的读写单元是page,所以很自然使用page作为去重单元;指纹的计算是性能瓶颈,因此二者都提倡 阅读全文

posted @ 2013-09-10 16:22 OpenNaive 阅读(2828) 评论(0) 推荐(0)

导航