随笔分类 - Cloud Compute & Storage
摘要：http://blog.csdn.net/liuaigui/article/details/6422700
阅读全文
摘要：什么是MAID存储MAID，即Massive Arrays of Idle Disks，中文意思为大规模非活动磁盘阵列存储。SNIA对MAID的定义是：A storage system comprising an array of disk drives that are powered down individually or in groups when not required。 MAID storage systems reduce the power consumed by a storage array。MAID技术在磁带库工作模式的基础上提出和发展起来的。磁带库的工作原理是正常状
阅读全文
摘要：http://agapple.iteye.com/blog/1292129http://www.blogjava.net/xylz/archive/2011/12/05/365578.html=============================================================================复制conf/zoo_sample.cfg文件为conf/zoo.cfg，修改其中的数据目录。# cat /opt/apps/zookeeper/conf/zoo.cfgtickTime=2000 initLimit=5 syncLimit=2 data
阅读全文
摘要：原因：客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数，连接数不够用导致解决办法：设置hbase-site.xml配置文件，添加如下属性<property> <name>hbase.zookeeper.property.maxClientCnxns</name> <value>300</value> <description>Property from ZooKeeper's config zoo.cfg. Limit on number of concurrent connections
阅读全文
摘要：https://github.com/henryr/toy_paxos （python）http://www.evanjones.ca/model-checking-paxos.html（python）Paxos算法:http://zh.wikipedia.org/zh-cn/Paxos%E7%AE%97%E6%B3%95
阅读全文
摘要：有字段（uSNCreated：这个字段是对象创建时系统自动分配的创建序列号，并且是无符整型）可用来做uid或gid ， 这是对这个字段的描述以及别人的应用http://technet.microsoft.com/zh-cn/library/ms680874 http://www.fatofthelan.com/technical/how-to-authenticate-mac-osx-against-active-directory/ http://web.imis.athena-innovation.gr/redmine/projects/9/wiki/LSC_config?version=
阅读全文
摘要：简介： Zookeeper (http://zookeeper.apache.org/)分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。具体简介可以参照这篇文章。zkpython的安装：python中有一个zkpython的包，是基于zookeeper的c-client开发的，所以安装的时候需要先安装zookeeper的c客户端。安装步骤如下：12345678910111213# 首先下载zookeeperwget http://labs.renren.co.
阅读全文
摘要：ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时，它支持硬资源和软资源的限制。先查看LINUX默认的文件描述符：# ulimit -n1024用命令来增大文件描述符，# ulimit -HSn 65536# vim /etc/profile 或者： vim /root/.bash_profile ulimit -HSn 65536#
阅读全文
摘要：常用配置选项：OPTION 选项：option httpclose ：HAProxy会针对客户端的第一条请求的返回添加cookie并返回给客户端，客户端发送后续请求时会发送此cookie到HAProxy，HAProxy会针对此cookie分发到上次处理此请求的服务器上，如果服务器不能忽略 此cookie值会影响处理结果。如果避免这种情况配置此选项，防止产生多余的cookie信息。option forwardfor ：如果服务器上的应用程序想记录发起请求的客户端的IP地址，需要在HAProxy上配置此选项，这样 HAProxy会把客户端的IP信息发送给服务器，在HTTP请求中添加"X-
阅读全文
摘要：This virtual machine requires the VMware keyboard support driver which is not installed. Reinstall VMware Workstation to use the driver, or change the virtual machine settings to disable using the enhanced virtual keyboard.右键点击vm，选“setting”弹出virtual machine settings ，选option选项页，右下角有enhanced virtualk
阅读全文
摘要：VT-d技术:我们知道对于服务器而言，很重要的一个组成部分就I/O，CPU的计算能力提升虽然可以更快地处理数据，但是前提是数据能够顺畅的到达CPU，因此，无论是存储，还是网络，以及图形卡、内存等，I/O能力都是企业级架构的一个重要部分。为此，人们不但在传输带宽上投资（比如从百兆以太网到千兆以太网再到万兆以太网），还在各种系统和架构上进行了大量的投入（比如吞吐量更高的RAID系列、多层数据中心）I/O虚拟化的关键在于解决I/O设备与虚拟机数据交换的问题，而这部分主要相关的是DMA直接内存存取，以及IRQ中断请求，只要解决好这两个方面的隔离、保护以及性能问题，就是成功的I/O虚拟化。和处理器上的I
阅读全文
摘要：Linux文件预读算法磁盘I/O性能的发展远远滞后于CPU和内存，因而成为现代计算机系统的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O等待时间，是改进磁盘读I/O性能的重要优化手段之一。本文作者是中国科学技术大学自动化系的博士生，他在1998年开始学习Linux，为了优化服务器的性能，他开始尝试改进Linux kernel，并最终重写了内核的文件预读部分，这些改进被收录到Linux Kernel 2.6.23及其后续版本中。从寄存器、L1/L2高速缓存、内存、闪存，到磁盘/光盘/磁带/存储网络，计算机的各级存储器硬件组成了一个金字塔结构。越是底层存储容量越大。然而访问速度也
阅读全文
摘要：在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。blockdev - 从命令行调用区块设备控制程序blockdev [options] commands devicesblockdev 工具允许从命令行调用区块设备控制程序。–setro 设置设备为只读–getro 读取设备是否为只读（成功为1，0则为可读写）–setrw 设置设别为可读写–getss 打印设备的扇区大小，通常是512–getsize 打印设别的容量，按照一个扇区512个字节计算–setra N 设置预读扇区（512字节）为N个.Set r
阅读全文
摘要：python-ldap访问AD域的的错误一般会如下格式：{'info': '80090308: LdapErr: DSID-0C090334, comment: AcceptSecurityContext error, data 525, vece', 'desc': 'Invalid credentials'}其中红字部分的意思如下（这些错误码跟语言无关）：525 - 用户没有找到52e - 证书不正确530 - not permitted to logon at this time532 - 密码期满533 - 帐户不可用70
阅读全文
摘要：利用IP组播技术传输视频信息随着全球互联网（Internet）的迅猛发展，上网人数正以几何级数快速增长，以因特网技术为主导的数据通信在通信业务总量中的比列迅速上升，因特网业务已成为多媒体通信业中发展最为迅速、竞争最为激烈的领域。Internet网络传输和处理能力的大幅提高，使得网上应用业务越来越多，特别是视音频压缩技术的发展和成熟，使得网上视音频业务成为Internet网上最重要的业务之一。在Internet上实现的视频点播（VOD）、可视电话、视频会议等视音频业务和一般业务相比，有着数据量大、时延敏感性强、持续时间长等特点。因此采用最少时间、最小空间来传输和解决视音频业务所要求的网络利用率高
阅读全文
摘要：1 TCP/IP协议 TCP/IP是一组完整的数据协议集，得名于两个最重要的协议：传输控制协议(Transmission Control Protocol .缩写TCP)和网络协议(Internet Protocol.缩写IP)。 目前TCP/IP协议已成为占主导地位的通讯协议，它能使各种业务在不同的网上实现互联互通，从技术上为网络融合奠定了基础。它之所以能够获得如此成就，是因为它具有如下的特点： 开放的协议标准，可以独立于特定计算机和操作系统的开放方式。 独立于特定的物理网络硬件，可以运行在多种网络传输介质上。 共同的地址规划方案使得整个网络中的任何TCP/IP设备都具有一个唯一的...
阅读全文
摘要：引言 近年来，随着Internet的迅速普及和爆炸性发展，在Internet上产生了许多新的应用，其中不少是高带宽的多媒体应用，譬如网络视频会议、网络音频/视频广播、AOD/VOD、股市行情发布、多媒体远程教育、CSCW协同计算、远程会诊。这就带来了带宽的急剧消耗和网络拥挤问题。为了缓解网络瓶颈，人们提出各种方案，归纳起来，主要包括以下四种： ●增加互连带宽； ●服务器的分散与集群，以改变网络流量结构，减轻主干网的瓶颈； ●应用QoS机制，把带宽分配给一部分应用； ●采用IP Multicast(译为组播、多播或多路广播，下文不加区分)技术。 比较而言，IP组播技术有其独特的优越性——在组播
阅读全文
摘要：Thrift是一个跨语言服务部署框架，最初由Facebook于2007年开发，后于2008年进入Apache孵化器(Apache Incubator)。类似于SOAP，google protobuf，COM 和CORBA，Thrift通过定义一个中间定义语言和Thrift代码生成工具，生成指定语言的代码。目前，Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml的代码生成。1安装thrift安裝需要使用到的套件：sudo apt-get install libboost-de
阅读全文
摘要：分布式的Key-Value存储系统voldemort http://project-voldemort.com/主要特性：Data is automatically replicated over multiple servers.Data is automatically partitioned so each server contains only a subset of the total dataServer failure is handled transparentlyPluggable serialization is supported to allow rich keys
阅读全文
摘要：什么是XAPI，或者说XAPI在XenServer中有什么作用？XAPI（或者XenAPI）是XenServer中的一组管理接口的统称，是XenServer管理的核心，由一系列的toolstack组成。XAPI主要提供XenCenter以及pool中各主机通信的接口。XenCenter通过XAPI来读取XenServer的配置、管理、License的管理、数据库的维护等等，同时也包括如存储（SR）、虚机、虚拟网卡、HA等等所有的功能控制。而Pool中的所有XenServer的操作请求也是通过XAPI传递给dom0，同时在池中的所有主机中间通信，例如：Pool中数据库（配置数据库，由XenSer
阅读全文