随笔分类 - Swift云存储

Swift is a highly available, distributed, eventually consistent object/blob store. 我在新浪SAE Sina Web Service(SWS)小组的负责内容
摘要:更新日期:2013.4.3 将proxy-server.conf的autocreate_account选项打开 说实话,Openstack手动部署起来还是挺麻烦的,也许头几回部署还算是新鲜,后来就算是重复工作了,Swift在整个openstack项目算是仅次于nova麻烦的子项目(不过nova的复杂度可比swift高1个数量级了LOL),其他的复杂度,个人觉得从高到低为keystone,glance,horizon。 为了减少重复工作,所以我就写了个简单的shell脚本,方便自己在测试或者开发环境下快速部署,已经传送到github上,链接在此:https://github.com/... 阅读全文
posted @ 2012-08-21 21:45 牛皮糖NewPtone 阅读 (2031) | 评论 (7) 编辑
摘要:原文链接:http://www.cnblogs.com/yuxc/archive/2012/07/04/2575536.html 作者:余兴超 @SAE.Sina Web Service Team 请尊重作者辛勤劳动,转载请标注链接和作者 在深入云存储系统Swift核心组件:Ring实现原理剖析和深入云存储系统Swift核心组件:Ring数据结构及构建、重平衡操作两篇博文中,我们详细地分析了Swift中数据的映射机制和具体操作。那么在集群中的每一台存储节点上,Swift是如何实现Account、Container、Object的具体存储呢?本篇旨在分析Storage node与partit.. 阅读全文
posted @ 2012-07-04 10:00 牛皮糖NewPtone 阅读 (8262) | 评论 (21) 编辑
摘要:在上一篇深入云存储系统Swift核心组件:Ring实现原理剖析中,我们分析了Ring的设计原理,深入探讨了Swift如何通过Ring组件来实现冗余的、可扩展的目的。本文旨在分析在实际swift的运行中,如何来构建Ring文件。Ring数据结构 Ring 的数据结构由三个顶层域构成,其中:List of Devices,表示集群中设备的列表;Partition Assignment List,表示partition到device的指派;Partition Shift Value,表示计算数据hash的移位量。1.List of Devices 设备列表在Ring类内部被称为devs。在设... 阅读全文
posted @ 2012-06-28 18:30 牛皮糖NewPtone 阅读 (7107) | 评论 (1) 编辑
摘要:简介OpenStack是一个美国国家航空航天局和Rackspace合作研发的开源云计算项目,并成为Apache下的一个重要开源项目,目前已经发展到了180家公司参与其中。OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一。Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群,存储容量可达PB级。OpenStack Object Storage 最初由 Rackspace 采用Python语言开发,并于 2010 年 7 月贡献给 OpenStack ,作为该开源项目的一部分。它的目的是用于托管 Rackspace的 C 阅读全文
posted @ 2012-06-22 08:50 牛皮糖NewPtone 阅读 (14568) | 评论 (26) 编辑
摘要:在Swift中,Swift3中间件在ObjectStorage上提供了S3REST 风格的API。 目前支持的操作有以下几种:·GETService·DELETEBucket·GETBucket(ListObjects)·PUTBucket·DELETEObject·GETObject·HEADObject·PUTObject·PUTObject(Copy)配置注意:在proxy-server.conf配置swift3,并确保swift3在auth和其他查找swift请求的中间件之前。具体配置示例如下:[ 阅读全文
posted @ 2012-05-12 17:39 牛皮糖NewPtone 阅读 (4453) | 评论 (2) 编辑
摘要:0.Whatisswift?OpenStackObjectStorage(Swift)是用来创建冗余的、可扩展的对象存储(引擎)的开源软件。swift使用标准化的服务器存储PB级的访问数据。它并不是文件系统或者实时的数据存储系统,而是一个用于存储永久类型的静态数据的长期存储系统,这些数据可以检索、调整、必要时进行更新。最适合存储的数据类型的首要例子是虚拟机镜像,图片存储,邮件存储,存档备份。因为没有中心单元或者主控结点,swift提供了更强的扩展性、冗余和持久性。1.Whendidtheswiftstart?OpenStackObjectStorage最初由Rackspace开发,并于2010 阅读全文
posted @ 2012-05-11 00:46 牛皮糖NewPtone 阅读 (4039) | 评论 (1) 编辑
摘要:注: 本文转自《程序员》杂志2011年08期 作者 苏椰2010年3月,ACM宣布将2009年度“ACM-Infosys”奖颁发给加州大学伯克利分校的Eric Brewer教授,以表彰他在可扩展互联网等领域所做的贡献。Brewer在伯克利获得了计算机科学学士学位,随后在麻省理工学院获得计算机科学硕士和博士学位。32岁时,他拿到了伯克利的终身教授职位,这个职位是很多人的毕生梦想,而他却初出江湖就将其纳入囊中。这到底是个什么人?他到底做了什么事?要说Brewer教授的工作,我们要从80年前的另一个人说起。1930年,著名数学家希尔伯特发表了他著名的退休演讲,其中有一句话鼓舞了一代数学家:“我... 阅读全文
posted @ 2012-05-05 11:41 牛皮糖NewPtone 阅读 (507) | 评论 (0) 编辑
摘要:本文转自InfoQ,原文地址:http://www.infoq.com/cn/news/2012/02/openstack_e3作者信息:程辉新浪云计算技术经理,擅长系统架构、Web性能优化,目前负责新浪SAE整体运维和新浪云计算虚拟化平台OpenStack社区于1月26日号顺利发布Essex-3(E3)。此次发布包含云计算控制中心Nova、镜像服务Glance、 认证服务Keystone和Dashboard项目Horizon,也包括对象存储项目Swift,Swift 1.4.5版本是1月12日发布的。目前OpenStack旗下主要就是以上五大项目,其中Keystone和Horizon是自Es 阅读全文
posted @ 2012-03-15 23:04 牛皮糖NewPtone 阅读 (1091) | 评论 (0) 编辑
摘要:对象存储系统Swift技术详解:综述与概念 OpenStack Object Storage (Swift)是用来创建冗余的、可扩展的对象存储(引擎)的开源软件。通过阅读Swift的技术文档,我们可以理解其中的设计的原理和实现的方法。 Swift项目已经进展有两年了,对外开放也一年有余,在国外的社区你可以获得许多帮助,但在国内只能找到一些零零散散不齐全的资料,许多人更喜欢坐享其成,而不是参与其中。本人于9月底开始接触swift,刚开始看文档的时候一知半解,有幸阅读了zzcase等人的博客,才得以入门。非常赞同郑烨在某本书序言中所说的话:“翻译向来是一件费力不讨好的事情。”。本人本着知识... 阅读全文
posted @ 2011-12-06 18:53 牛皮糖NewPtone 阅读 (23489) | 评论 (9) 编辑
摘要:The Auth System 认证系统TempAuth The auth system for Swift is loosely based on the auth system from the existing Rackspace architecture – actually from a few existing auth systems – and is therefore a bit disjointed. The distilled points about it are:Swift的认证系统松散地基于已存在的Rackspace架构的认证系统—实际上来自于一些已存在的认证系统. 阅读全文
posted @ 2011-10-26 18:04 牛皮糖NewPtone 阅读 (1458) | 评论 (0) 编辑
摘要:cURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP、FTP、TELNET等。本文主要是介绍使用该工具和HTTP协议与swift服务如何交互。cURL允许你从命令行或shell脚本传送和接收HTTP的请求和响应。这使得直接与ReST的API工作而无需其他客服端APIs成为可能。本文,我们需要使用到以下的cURL命令行选项:-X METHOD 描述HTTP的请求方法(HEAD, GET等) -D Dump 将HTTP响应头部到stdout.-H HEADER 描述一个在请求中的HTTP\HTTPS头部.-v 使用操作的过程更加详细1.认证In order to .. 阅读全文
posted @ 2011-10-07 17:12 牛皮糖NewPtone 阅读 (9565) | 评论 (7) 编辑
摘要:Note在阅读本文之外,你可以参考来自于zzcase精心制作的简明swift安装指南和使用已经打包好的配置文件以及笨笨blog所写的Swift在Ubuntu系统上的安装与配置按照本人的一贯风格,采用注解和部分翻译的方式来介绍Swift的SAIO安装Alpha:Created in 2011.9.24Updated:1st 2011.9.27 修正了调试结果2rd 2011.9.29 增加一些注释Instructions for setting up a development VM 搭建开发虚拟机This documents setting up a virtual machine for . 阅读全文
posted @ 2011-09-24 11:35 牛皮糖NewPtone 阅读 (4549) | 评论 (53) 编辑