07 2013 档案

RSync实现文件备份同步
摘要：一、什么是rsync rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。 rsync 包括如下的一些特性： 能更新整个目录和树和文件系统； 有选择性的保持符号链链、硬链接、文件属于、权限、设备以及时间等； 对于安装来说，无任何特殊权限要求； 对于多个文件来说，内部流水线减少文件等待的延时； 能用rsh... 阅读全文
posted @ 2013-07-31 16:30 暗痛 阅读(248) 评论(0) 推荐(0)
Redis 起步
摘要：Rdis和JQuery一样是纯粹为应用而产生的，这里记录的是在CentOS 5.7上学习入门文章：1.Redis简介 Redis是 一个key-value存储系统。和Memcached类似，但是解决了断电后数据完全丢失的情况，而且她支持更多无化的value类型，除了和 string外，还支持lists（链表）、sets（集合）和zsets（有序集合）几种数据类型。这些数据类型都支持push/pop、add /remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。2.Redis的性能下面是官方的bench-mark数据：The test was done with 50 sim 阅读全文
posted @ 2013-07-29 00:09 暗痛 阅读(260) 评论(0) 推荐(0)
Redis复制与可扩展集群搭建
摘要：Redis复制流程概述Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了 Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis磁盘IO问题。Redis复制流程在Slave和Master端各自是一套状态机流转，涉及的状态信息是：Slave 端：REDIS_REPL_NONEREDIS_REPL_CONNECTREDIS_REPL_CONNECTED Master端：REDIS_REPL_WAIT_BGSAVE_STARTREDIS_REPL_W 阅读全文
posted @ 2013-07-29 00:06 暗痛 阅读(277) 评论(0) 推荐(0)
Redis内存存储结构分析
摘要：1 Redis 内存存储结构本文是基于 Redis-v2.2.4 版本进行分析.1.1 Redis 内存存储总体结构Redis 是支持多key-value数据库(表)的,并用 RedisDb 来表示一个key-value数据库(表). redisServer 中有一个 redisDb *db; 成员变量, RedisServer 在初始化时,会根据配置文件的 db 数量来创建一个 redisDb 数组. 客户端在连接后,通过 SELECT 指令来选择一个 reidsDb,如果不指定,则缺省是redisDb数组的第1个(即下标是 0 ) redisDb. 一个客户端在选择 redisDb 后,其 阅读全文
posted @ 2013-07-29 00:04 暗痛 阅读(352) 评论(0) 推荐(0)
Redis内存使用优化与存储
摘要：Redis常用数据类型Redis最为常用的数据类型主要有以下五种：StringHashListSetSorted set在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的：首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示：type 代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表value存 储的是一个普通字符串，那么对应的encoding可以是raw或者是int,如果是int则 阅读全文
posted @ 2013-07-29 00:02 暗痛 阅读(309) 评论(0) 推荐(0)
为什么使用 Redis及其产品定位
摘要：传统MySQL+ Memcached架构遇到的问题实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。Memcached与MySQL数据库数据一致性问题。Memcached数据命中率低或down机，大量访问直接穿透到DB，MySQL无法支撑。跨机房cache同步问题。众多NoSQL百花齐放，如何选择最近几年，业界不断涌现出很多各种各样的NoSQL产品 阅读全文
posted @ 2013-07-29 00:01 暗痛 阅读(287) 评论(0) 推荐(0)
XHProf安装使用笔记
摘要：编译安装获取源代码包root@sourcjoy>wget http://pecl.php.net/get/xhprof-0.9.2.tgz解压root@sourcjoy>tar zxf xhprof-0.9.2.tgzroot@sourcjoy>cd xhprof-0.9.2复制web访问目录到we 阅读全文
posted @ 2013-07-26 12:13 暗痛 阅读(234) 评论(0) 推荐(0)
php 5.3 以上fpm安装
摘要：安装PHP#wget http://cn2.php.net/get/php-5.3.8.tar.gz/from/cn.php.net/mirror#tar -zxvf php-5.3.8.tar.gz#cd php-5.3.8#./configure --prefix=/usr/local/php --enable-fpm --with-libevent-dir=/usr --with-mcrypt=/usr/local/libmcrypt --with-zlib --enable-mbstring --with-openssl --with-mysql --with-mysqli --wit 阅读全文
posted @ 2013-07-25 16:07 暗痛 阅读(900) 评论(0) 推荐(0)
实战Nginx与PHP（FastCGI）的安装、配置与优化
摘要：一、什么是 FastCGIFastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI，包括Apache、Nginx和lighttpd等，同时，FastCGI也被许多脚本语言所支持，其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差，因为每次HTTP服务器遇到动态程序时都需要重新启动脚本解析器来执行解析，然后结果被返回给HTTP服务器。这在处理高并发访问时，几乎是不可用的。另外传统的CGI接口方式安全性也很差，现在已经很少被使用了。FastCGI接口方式采用C/S结构，可 阅读全文
posted @ 2013-07-25 15:28 暗痛 阅读(338) 评论(0) 推荐(0)
分布式基础学习【一】 —— 分布式文件系统
摘要：所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于缺少一些实现的代码和示例，色彩有些斑驳，缺少了点感性。幸好我们还有Open Source，还有Hadoop。Hadoop是 一个基于Java实现的，开源的，分布式存储和计算的项目。作为这个领域最富盛名的开源项目之一，它的使用者也是大牌如云，包括了 Yahoo，Amazon，Facebook等等（好吧，还可能有校内 阅读全文
posted @ 2013-07-24 15:41 暗痛 阅读(595) 评论(0) 推荐(0)
分布式基础学习【二】 —— 分布式计算系统（Map/Reduce）
摘要：二. 分布式计算（Map/Reduce）分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数。从计算的角度上看，Map/Reduce框架接受各种格式的键值对文件作为输入，读取计算后，最终生成自定义格式的输出文件。而从分布式的角度上看，分布式计算的输入文件往往规模巨大，且分布在多个机器上，单机计算完全不可支撑且效率低下，因此Map/Redu 阅读全文
posted @ 2013-07-24 15:41 暗痛 阅读(582) 评论(0) 推荐(0)
分布式文件系统MFS(moosefs)实现存储共享
摘要：分布式文件系统MFS(moosefs)实现存储共享(第二版)作者:田逸(sery@163.com)由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即lvs+keepalived的方式），但仍然有用户反馈访问 慢的问题。通过排查个服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里，N个服务器通过nfs方式共享一个服务器的存储空间， 使得NFS服务器不堪重负。察看系统日志，全是nfs服务超时之类的报错。一般情况下，当nfs客户端数目较小的时候，NFS性能不会出现问题；一旦 NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所 阅读全文
posted @ 2013-07-24 14:23 暗痛 阅读(1172) 评论(0) 推荐(0)
mfs实际操作教程
摘要：9. 实际操作案例9.1 默认的垃圾回收时间是86400，存在一种可能性是垃圾还没回收完，你的存储容量就暴掉了。（案例提供者shinelian）方案1：设置垃圾回收时间，积极监控存储容量。 经过测试，把垃圾回收时间设置300秒，完全可以正确回收容量。方案2：手动周期性去删除metamfs里的trash目录下的文件（健壮性还有待测试，反正删除后容量是回收了，不晓得有没有什么后遗症。） 经过测试，貌似没后遗症，有后遗症的同学请在qq群里面联系我。9.2 mfs 1.6.x的User Guides和FAQ，并和灵犀沟通对文档中不理解的地方，就理解不一致的地方达成一致。MFS1.6.x比1.... 阅读全文
posted @ 2013-07-24 14:05 暗痛 阅读(895) 评论(0) 推荐(0)
mfs监控
摘要：web gui 监控 gui_info.jpg(143.72 KB, 下载次数: 83)gui_most.jpg(209.36 KB, 下载次数: 82)gui_master_info.jpg(212.79 KB, 下载次数: 79)gui_server.jpg(223.96 KB, 下载次数: 82) 阅读全文
posted @ 2013-07-24 14:05 暗痛 阅读(453) 评论(0) 推荐(0)
mfs权威指南
摘要：1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。2. mfs不多做介绍，具体细节请参考本版mfs实践文章http://bbs.chinaunix.net/thread-1643863-1-1.html ，或者baidu,google 关键字田逸。3. 希望大家能提供更好的存储/文件系统的测试模型，来一起完善本文档。（热烈欢迎大家奉献测试脚本，测试用例等）。4. 希望大家提供生产环境的实际案例，配置环境，脚本，监控机制等等。5. 希望熟悉代码的朋友去看看mfs内部实现的机制。6. 特别感谢田逸的文 阅读全文
posted @ 2013-07-24 14:03 暗痛 阅读(835) 评论(0) 推荐(0)
mfs测试
摘要：续16. 参考文献：6.1 文献http://sery.blog.51cto.com/10037/263515田逸http://bbs.chinaunix.net/thread-1643863-1-1.htmlltgzs777http://www.moosefs.org/官网http://bbs.chinaunix.net/thread-1643015-1-2.html 测试工具6.1测试数据性能测试模型1一个不知道名字的哥们的测试结果，我先贴出来，那哥们看到了密我.小文件性能测试二级100*100文件夹创建列表删除单片15k.5ext3client单进程real0m0.762suser0m0 阅读全文
posted @ 2013-07-24 14:03 暗痛 阅读(734) 评论(0) 推荐(0)
mfs教程(一)
摘要：对于mfs文件系统也用了半年了，确实不错，最近又翻译了作者的三篇文章，再此一同发上，希望对大家有所帮助。不足之处还请指出，以便完善，谢谢！感谢网友nonamexz做了精美的pdf文档 MFS文件系统使用手册.pdf (453.19 KB, 下载次数: 3946)。MFS文件系统官方的网络示意图是这样的： MFS文件系统结构: 包含4种角色: 管理服务器managing server (master) 元数据日志服务器Metalogger server（Metalogger） 数据存储服务器dat... 阅读全文
posted @ 2013-07-24 13:09 暗痛 阅读(1372) 评论(0) 推荐(0)
mfs教程(二)
摘要：mfs文件系统（二）编译和安装 MooseFS部署的首选方法是从源代码安装 源代码包安装支持标准./configure && make && make install的步骤，重要的配置选项有：--disable-mfsmaster –不创建成管理服务器（用于纯节点的安装）--disable-mfschunkserver –不创建成数据存储chunkserver服务器--disable-mfsmount –不创建mfsmount和mfstools（如果用开发包安装，他们会被默认创建的）--enable-mfsmount –确定安装mfsmount和mfstools 阅读全文
posted @ 2013-07-24 13:09 暗痛 阅读(674) 评论(0) 推荐(0)
mfs教程(四)
摘要：mfs文件系统（四）MooseFS维护 一、启动MooseFS集群最安全的启动MooseFS集群（避免任何读或写的错误数据或类似的问题）的方式是按照以下命令步骤：1.启动mfsmaster进程2.启动所有的mfschunkserver进程3.启动mfsmetalogger进程（如果配置了mfsmetalogger）当所有的chunkservers连接到MooseFS master后，任何数目的客户端可以利用mfsmount去挂接被export的文件系统。（可以通过检查master的日志或是CGI监视器来查看是否所有的chunkserver被连接）。 二、停止MooseFS集群安全的停止Moos 阅读全文
posted @ 2013-07-24 13:09 暗痛 阅读(740) 评论(0) 推荐(0)
mfs教程(三)
摘要：mfs文件系统（三）使用MooseFS一、挂载文件系统启动管理服务器（master server）和数据服务器(chunkservers) (chunkservers一个是必需的,但至少两个推荐) 后，客户机便可以利用mfsmount挂接mfs文件系统。 MooseFS文件系统利用下面的命令：mfsmount mountpoint [-d] [-f] [-s] [-m] [-n] [-p] [-H MASTER] [-P PORT] [-S PATH] [-o OPT[,OPT...]]-H MASTER：是管理服务器（master server）的ip地址-P PORT： 是管理服务器（m. 阅读全文
posted @ 2013-07-24 13:08 暗痛 阅读(1268) 评论(0) 推荐(0)
Memcache基础教程
摘要：Memcache是什么Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。Memcache官方网站：http://www.danga.com/memcached，更多详细的信息可以来这里了解 :)为什么会有Memcache和memcached两种名称？其实Memcache是这个项目的名称，而memcached是它服务器 阅读全文
posted @ 2013-07-16 10:00 暗痛 阅读(163) 评论(0) 推荐(0)