随笔分类 - 存储
Ceph redis mysql HDFS
摘要：使用Ceph-deploy完成RGW服务部署后（最好是在部署RGW服务前建立如下这些pool），使用sudo ceph osd lspools 命令，会发现RGW自动以默认参数创建了N个rgw相关的pool。 然而这些pool的参数按默认是不符合要求。 因此需要重建这些pool。 步骤如下： 1.
阅读全文
摘要：本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本，不包括IDC带宽成本。 统计Ceph集群的用到的主要设备为： OSD、MON、RGW服务器 、TOR交换机、 机架。 下表解释： Port ： 交换机端口年成本 Rack ： 机架租赁年成本 Server： OSD/MON/RGW
阅读全文
摘要：配置信息： 使用 2个万兆网卡的RGW主机，并用OSPF做高可用和负载均衡。 Ceph OSD集群 有21Node （万兆网卡+ 12个4T SATA机械硬盘） 测试VM配置： 使用在使用VXLAN协议构建的VPC网络内的8个4核8G的VM作为cosbench driver。 使用 128个cosb
阅读全文
摘要：随着开源技术的发展，以及商业设备价格的不断攀升。大公司总是希望能使用开源的方案来替换过去使用的商业设备。比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换。传统的单个lvs的性能是比不上商业设备的，而且稳定性等也相对会差些。告诉大家很多大公司都在用这些技术的。 基本思路就是把多个LVS组
阅读全文
摘要：问题现象： 使用Cosbench 0.4.2.c4 版本测试Ceph RGW read test失败，遇到异常如下： FreeMarker template error: The following has evaluated to null or missing: ==> info.errorSt
阅读全文
摘要：Using the AWS Java SDK for Multipart Upload (High-Level API) Topics Upload a File Abort Multipart Uploads Track Multipart Upload Progress The AWS SDK
阅读全文
摘要：注：在RGW网关主机网卡已经是10Gb的情况下，如下三个方案没有引入LVS；如果RGW是Gb网卡，可以考虑引入LVS做流量负载均衡。 RGW部署采用 fastcgi+nginx 扩展性和可配置性更强。 1. DNS（多个A记录） + 多个RGW（公网IP） 优点： 配置简单，本质是基于DNS的负载均
阅读全文
摘要：问题：cosbench read测试failed 报错如下 Cosbench v0.4.2.c4 against Ceph (Hammer) / radosgw / HAproxy's HTTP end point. All seems fine except that at the end of
阅读全文
摘要：cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; clien
阅读全文
摘要：Cosbench是Intel的开源云存储性能测试软件，COSBench目前已经广泛使用与云存储测试，并作为云存储的基准测试工具使用 https://github.com/intel-cloud/cosbench 1 环境 1.1 操作系统 COSBench可在windows和linux两种系统中运行
阅读全文
摘要：https://pan.baidu.com/s/1dEKtU5V
阅读全文
摘要：配置 s3cmd --configure 根据提示输入accessKey,securityKey 生成基本的配置文件。 修改host_base/host_bucket: host_base = ip-113-107-161-207:7480host_bucket = ip-113-107-161-2
阅读全文
摘要：前面讲解了平衡查找树中的2-3树以及其实现红黑树。2-3树种，一个节点最多有2个key，而红黑树则使用染色的方式来标识这两个key。 维基百科对B树的定义为“在计算机科学中，B树（B-tree）是一种树状数据结构，它能够存储数据、对其进行排序并允许以O(log n)的时间复杂度运行进行查找、顺序读取
阅读全文
摘要：为什么文件存储要选用B+树这样的数据结构？ “文件存储要选用B+树这样的数据结构”——没记错的话，这是严蔚敏那本数据结构书上的一句结论。不知道是我没细看还是她没细讲，反正当时纯粹应试地记了这么个结论。不求甚解终究不是一个好的学习态度，一直以来我都没有细想过这个事情，直到看到了这篇博文 。 此文信息量
阅读全文
摘要：日志文件系统可以在系统发生断电或者其它系统故障时保证整体数据的完整性，Linux是目前支持日志文件系统最多的操作系统之一，本文重点研究了Linux常用的日志文件系统：EXT3、ReiserFS、XFS和JFS日志技术，并采用标准的测试工具PostMark和Bonnie++对它们进行了测试，给出了详细
阅读全文
摘要：本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素，以及一些 IO 性能检测工具。 本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning Guidelines FileSystem VFS(Virtual FileSystem)
阅读全文
摘要：在Linux 开发中，有几个关系到性能的东西，技术人员非常关注：进程，CPU，MEM，网络IO，磁盘IO。本篇文件打算详细全面，深入浅出。剖析文件IO的细节。从多个角度探索如何提高IO性能。本文尽量用通俗易懂的视角去阐述。不copy内核代码。 阐述之前，要先有个大视角，让我们站在万米高空，鸟瞰我们的
阅读全文
摘要：我们含有分析的，是基于2.6.32及其后的内核. 我们在linux上总是要保存数据，数据要么保存在文件系统里（如ext3），要么就保存在裸设备里。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据提交给我们，而我们则无需和块设备打交道。 从下图，我们可以清除的看到： I
阅读全文
摘要：升级软件版本在日常运维中是一个常见操作。 本文分享一下Ceph版本升级的一些经验。 一般升级流程和注意如下: 1. 关注社区Release notes 和 ceph-user邮件订阅列表，获取社区发布的最新版本 http://docs.ceph.com/docs/master/release-not
阅读全文
摘要：SCSI 小型计算机系统接口（SCSI，Small Computer System Interface）是一种用于计算机及其周边设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。SCSI标准定义命令、通信协议以及实体的电气特性（换成OSI的说法，就是占据物理层、链接层、套接层
阅读全文
浙公网安备 33010602011771号