摘要：注：以下操作均基于centos7系统。安装ansibleansilbe可以通过yum或者pip安装，由于kubernetes-ansible用到了密码，故而还需要安装sshpass：pip install ansiblewget http://sourceforge.net/projects/ssh...
阅读全文
posted @ 2014-11-19 21:12
随笔分类 - 云计算
摘要：docker解决了云计算环境难于分发并且管理复杂，而用KVM、Xen等虚拟化又浪费系统资源的问题。Docker最初是基于lxc构建了容器引擎，为了提供跨平台支持，后又专门开发了libcontainer来抽象容器引擎。但无论是libcontainer还是lxc，其底层所依赖的内核特性都是相同的。我们来...
阅读全文
posted @ 2014-11-19 21:11
摘要：目前感觉比较简单直观的部署工具有RDO、devstack、Fuel等：1. RDOhttps://openstack.redhat.com/QuickstartREDHAT出品，支持Redhat、CentOS等系统。RDO基于puppet部署各个组件，支持单节点或多节点部署，在Redhat系操作系统...
阅读全文
posted @ 2014-11-18 21:48
摘要：docker启动时，会在宿主主机上创建一个名为docker0的虚拟网络接口，默认选择172.17.42.1/16，一个16位的子网掩码给容器提供了65534个IP地址。docker0只是一个在绑定到这上面的其他网卡间自动转发数据包的虚拟以太网桥，它可以使容器和主机相互通信,容器与容器间通信。问题是，...
阅读全文
posted @ 2014-11-18 18:17
摘要：1. 前言Together we will ensure that Kubernetes is a strong and open container management framework for any application and in any environment, whether i...
阅读全文
posted @ 2014-11-18 18:17
摘要：weave简介Weave creates a virtual network that connects Docker containers deployed across multiple hosts.Applications use the network just as if the cont...
阅读全文
posted @ 2014-11-12 22:20
摘要：docker默认使用bridge模式，通过网桥连接到宿主机，而容器内部的ip则从网桥所在的ip段取未用的ip。这样做一个不方便的地方在于容器内部的ip不是固定的，想要连接容器时只能通过映射到宿主机的端口，因而有很多项目使用overlay来为docker提供网络的配置，比如Pipework、Flann...
阅读全文
posted @ 2014-10-30 16:58
摘要：指令的一般格式为INSTRUCTION arguments，指令包括FROM、MAINTAINER、RUN等。FROM格式为FROM 或FROM :。第一条指令必须为FROM指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个FROM指令（每个镜像一次）。MAINTAINER格...
阅读全文
posted @ 2014-10-13 22:14
摘要：Earlier this year, VMware, Microsoft, Red Hat and Intel published an IETF draft on Generic Network Virtualization Encapsulation (Geneve). Thisdraft(fi...
阅读全文
posted @ 2014-10-11 10:39
摘要：简介Docker 是 dotCloud 最近几个月刚宣布的开源引擎，旨在提供一种应用程序的自动化部署解决方案，简单的说就是，在 Linux 系统上迅速创建一个容器（类似虚拟机）并在容器上部署和运行应用程序，并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级，非常方便。因为使用了容器，所以可以...
阅读全文
posted @ 2014-10-08 18:41
摘要：在组织如何处理数据方面，Apache Hadoop展开了一场史无前例的革命——通过自由可扩展的Hadoop，可以在比以往更短的时间内，通过新应用创造新价值，并从大数据中提取想要的数 据。这次革命企图使企业建立以Hadoop为中心的数据处理模式，但是同时也提出一个挑战：我们如何在Hadoop的自由下进行协作呢？我们如何对任意格 式的数据进行存储和处理，并按照用户的希望来共享这些数据呢？此外，我们还需考虑，如何将不同工具以及其他系统集成在一起，组成数据中心即计算机？作为Hadoop的用户，对元数据目录的需求是明确的。用户不希望再去“发明轮子”。他们希望与同事合作，分享结果和过程中的数据集合。结合用
阅读全文
posted @ 2013-02-24 20:58
摘要：Many people know that Amazon Web Services are one of the big players in the cloud computing business, and especially their Infrastructure as a Service offering EC2 is becoming increasingly popular. Few people know that EC2 is probably one of the biggestXeninstallations deployed. But how many know ho
阅读全文
posted @ 2013-02-03 17:39
摘要：基础知识（本节转自http://www.54chen.com/architecture/cloud-foundry-warden-part1.html）rv = unshare(CLONE_NEWNS);unshare这个调用，可以把挂载的文件系统设置成只在新的挂载命名空间（mount namespace）中可见。execvp(argv[0], argv); execvp()会从PATH 环境变量所指的目录中查找符合参数file 的文件名，找到后便执行该文件，然后将第二个参数argv传给该欲执行的文件。shopt -s nullglob 设置shell环境变量nullglob的值为on...
阅读全文
posted @ 2012-09-27 18:13
摘要：cloudfoundry warden安装和配置warden安装apt-get install -y linux-imageapt-get install -y build-essential debootstrapapt-getinstall -y cgroup-bingem install bundlegem sources -a http://ruby.taobao.org/gem sources --remove http://rubygems.org/gem install gem-fastcd warden/wardenbundlebundle exec rake setup[co
阅读全文
posted @ 2012-09-27 18:12
摘要：简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎，获得了很大的成功。最近Apache计划推出Dremel的开源实现Drill，将Dremel的技术又推到了浪尖上。Google Dremel设计根据Google公开的论文《Dremel: Interactive Analysis of WebScaleDatas
阅读全文
posted @ 2012-08-24 09:10
摘要：One of the questions we always get asked at meet-ups and conversations with other engineers is, “what’s your stack?” We thought it would be fun to give a sense of all the systems that power Instagram, at a high-level; you can look forward to more in-depth descriptions of some of these systems in the
阅读全文
posted @ 2012-04-14 19:46
摘要：Amazon EBS全称是Elastice Block Store， 功能是为EC2提供可靠的块设备存储， 对于用户来说EBS就是一个磁盘， 磁盘上面可以安装数据库、文件系统等各种应用，EBS主要用在亚马逊RDS服务。EBS的特性EBS是可靠存储设备， 支持在同一AZ内部复制。AFR（annual failure fate)是0.1%到0.5%，低于普通磁盘4%.支持在线创建point-in-time快照，快照以copy-on-write方式实现，快照之后被修改的数据块才真正占用空间，快照数据以压缩方式存储到S3。支持从快照创建volume，采用延时加载机制，即真正被访问时，才从S3加载数据块
阅读全文
posted @ 2012-03-29 10:30
摘要：aws架构的总结http://openfoo.org/blog/amazon_ec2_underlying_architecture.htmlMany people know that Amazon Web Services are one of the big players in the cloud computing business, and especially their Infrastructure as a Service offering EC2 is becoming increasingly popular. Few people know that EC2 is pro
阅读全文
posted @ 2012-03-29 10:09
摘要：In this posting, I summarize my prior three posts on the three cloud computing offerings: Infrastructure as a Service (IaaS), Platform as a Service (PaaS) and Software as a Service (SaaS).I concentrate how the three offerings differ with respect to flexibility, maintenance and portability. One of th
阅读全文
posted @ 2012-03-27 13:18
摘要：EMC中国研究院高级研究员 彭麟引子今年4月份，VMware突然发布了业内第一个开源的PaaS——CloudFoundry。几个关键字：开源、PaaS、VMware，如果你对云计算感兴趣，就冲着它的ApacheV2协议，如果不去GitHub拿它的代码好好研读一下，真有点对不起自己。笔者当时就是以这样的心态去研究它的代码，并把它部署在我们labs里面。发布至今的这几个月里，笔者一直关注它的演进，并从它的架构设计中获益良多，觉得有必要写出来与大家分享一下。由于个人知识、认知等原因，其中有些看法难免不成熟，大家可以直接批评、指教。本文会分为两个部份：第一部份主要介绍CloudFoundry的架构设计
阅读全文
posted @ 2012-03-24 21:34
