博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  Storage

MySQL, nosql, Storage,SSD,High-Availability,Load-Balance,DistributedFileSystem
摘要:过去几年中,我们一直在使用、构建和宣传消息队列,我们认为它们是很令人敬畏的,这也不是什么秘密。我们相信对任何架构或应用来说,消息队列都是一个至关重要的组件,下面是十个理由: 1. 解耦 在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。... 阅读全文

posted @ 2013-08-28 10:10 Apprentice89 阅读(1027) 评论(1) 推荐(1)

摘要:Werner Vogels on December 23, 2008http://www.allthingsdistributed.com/2008/12/eventually_consistent.html这篇文章是Werner Vogel在2008年发布在ACM Queue上的一篇数据库方面的重要文章,阐述了NoSQL数据库的理论基石--最终一致性,对传统的关系型数据库(ACID,Transaction)做了较好的补充。国内已有很多相关方面的介绍,比如InfoQ在2009年的介绍,但基本没有完整翻译的版本。在这里做一个完整的翻译,供初学者参考。最终一致性:在世界范围内构建可靠的分布式系统要 阅读全文

posted @ 2013-05-14 11:13 Apprentice89 阅读(414) 评论(0) 推荐(0)

摘要:不带缓冲区的IO和标准IO库 l 不带缓冲区的IO(unbuffered IO): n open/read/write/close n 每次read/write都调用内核的一个系统调用。这种IO都是针对文件描述符的,当打开一个文件时,返回一个文件描述符,然后该文件描述符用于后续的IO操作。 l 标准IO库: ... 阅读全文

posted @ 2013-05-03 10:10 Apprentice89 阅读(423) 评论(0) 推荐(0)

摘要:转载自:NoSQL 中的 CAP 原理 我们知道 CAP 原来是任何存储无法规避的定律,任何存储设备都无法在一致性(C),可用性(A)和分区可容忍性(P)三者上都做得非常好。这就是所谓的CAP定律。 这里推荐的这篇文章,从CAP原理讲起,然后将目前的各大 NoSQL 产品进行了分类,如下: 按功能分类: ... 阅读全文

posted @ 2013-05-02 14:10 Apprentice89 阅读(347) 评论(0) 推荐(0)

摘要:[转载]原文链接:http://my.oschina.net/juliashine/blog/88173NoSQL数据库的分布式算法本文另一地址请见NoSQL数据库的分布式算法本文译自Distributed Algorithms in NoSQL Databases系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行之有效的数据库构 阅读全文

posted @ 2013-05-02 10:33 Apprentice89 阅读(249) 评论(1) 推荐(0)

摘要:链接:http://blog.csdn.net/lengyuhong/article/details/5979759NoSQL是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL数据存储不需要固定的表结构,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。 当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的BigTable与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一些开源的 NoSQL 体系,如Fac. 阅读全文

posted @ 2013-04-17 10:08 Apprentice89 阅读(223) 评论(2) 推荐(0)

摘要:计算机中存放信息的主要的存储设备就是硬盘,但是硬盘不能直接使用,必须对硬盘进行分割,分割成的一块一块的硬盘区域就是磁盘分区。在传统的磁盘管理中,将一个硬盘分为两大类分区:主分区和扩展分区。主分区是能够安装操作系统,能够进行计算机启动的分区,这样的分区可以直接格式化,然后安装系统,直接存放文件。 在一个MBR分区表类型的硬盘中最多只能存在4个主分区。如果一个硬盘上需要超过4个以上的磁盘分块的话,那么就需要使用扩展分区了。如果使用扩展分区,那么一个物理硬盘上最多只能3个主分区和1个扩展分区。扩展分区不能直接使用,它必须经过第二次分割成为一个一个的逻辑分区,然后才可以使用。一个扩展分区中的... 阅读全文

posted @ 2012-12-17 10:38 Apprentice89 阅读(20339) 评论(0) 推荐(5)

摘要:感谢phylips@bmy的辛勤工作!Case Study GFS:Evolution on Fast-forward(译)译者:phylips@bmy 2011-8 在Google的早期开发阶段,最初的想法并没有包含一个构建新的文件系统的计划。工作依然是通过公司最早版本的爬虫和索引系统来完成,但是,事情对于核心工程师们很快变得明朗起来,除了构建一个新的系统外他们别无选择,于是GFS(Google File System)就诞生了。首先,由于Google的目标是要通过使用很多廉价的商品化硬件来构建一个大规模存储网络。因此它必须要假设组件失败是一种常态—这就意味着常规性的监控,错误检测,容... 阅读全文

posted @ 2012-11-14 10:49 Apprentice89 阅读(419) 评论(0) 推荐(0)