2014 年 5月随笔档案 - 想想宝宝

如何构建日均千万PV Web站点 (三) Sharding

摘要：其实国内许多大型网站为了应对日益复杂的业务场景，通过使用分而治之的手段将整个网站业务分成不同的产品线，比如说国内那些大型购物交易网站它们都将自己的网站首页、商铺、订单、买家、卖家等拆分不同的产品线，分归不同的业务团队负责；集体到技术，也会根据产品线划分，将一个网站拆分成许多不同的应... 阅读全文

posted @ 2014-05-30 00:12 想想宝宝阅读(2577) 评论(3) 推荐(4)

使用Amoeba 实现MySQL DB 读写分离

摘要：

1 简介 Amoeba(变形虫)项目是一个开源框架，于2008年开始发布一款 Amoeba for Mysql软件；这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发；位于 Client、DB Server(s)之间,对客户端透明；具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的请求到目标数据库、可并发请求多台数据库并合并结果；阅读全文

posted @ 2014-05-19 08:37 想想宝宝阅读(3624) 评论(4) 推荐(2)

自动化运维工具 ~puppet~

摘要：

一、简介 puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源，puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。 puppet采用C/S星状的结构，所有的客户端和一个或几个服务器交互。每个客户端周期的（默认半个小时）向服务器发送请求，获得其最新的配置信息，保证和该配置信息同步。每个puppet客户端每半小时(可以设置)连接一次服务器端, 下载最新的配置文件,并且严格按照配置文件来配置服务器. 配置完成以后,puppet客户端可以反馈给服务器端一个消息. 如果出错,也会给服务器端反馈一个消息. 阅读全文

posted @ 2014-05-18 21:34 想想宝宝阅读(3069) 评论(2) 推荐(2)

自动化运维之 ~cobbler~

摘要：

一、Cobbler简介 Cobbler是一个快速网络安装linux的服务，而且在经过调整也可以支持网络安装windows。该工具使用python开发，小巧轻便（才15k 行python代码），使用简单的命令即可完成PXE网络安装环境的配置，同时还可以管理DHCP、DNS、yum仓库、构造系统ISO镜像。 Cobbler支持命令行管理，web界面管理，还提供了API接口，方便二次开发 Cobbler客户端Koan支持虚拟机安装和操作系统重新安装，使重装系统更便捷。阅读全文

posted @ 2014-05-18 00:42 想想宝宝阅读(3893) 评论(0) 推荐(1)

GitHub

摘要：

最近在学习一些新东西，在实验环境下自己写的一些程序或脚本，觉得以后还能用的上，就想保存下来；如果保存在本地或者U盘之类的移动存储中，以后重装系统或者U盘丢失也就损失了，而且作为一个IT从业人员，这年头文件不存储在云端，都不好意思说自己是混IT圈的；最终选择了GitHub这个代码托管的网站，以后如果写出点像样的开源软件，还可以得到众多开发者的跟进，想想就挺美的！！！所以今天就花了点时间整理了一下官方的配置使用文档，以帮助有同样需求且看英文文档费劲的同行们！阅读全文

posted @ 2014-05-14 11:21 想想宝宝阅读(16585) 评论(7) 推荐(25)

如何构建日均千万PV Web站点(二) 之~缓存为王~

摘要：随着网站业务的不断发展，用户的规模越来越大；介于中国无比蹩脚复杂的网路环境；南电信；北联通；中间竟然只用一条链路进行互联通信！有研究表明，网站访问延迟和用户流失率正相关，网站访问速度越慢，用户越容易失去耐心而离开。为了提高更好的用户体验，留住用户，网站需要加速网站访问速度。如今主要的手段只有使... 阅读全文

posted @ 2014-05-13 23:25 想想宝宝阅读(2899) 评论(5) 推荐(7)

MySQL 存储引擎

摘要：

简介 MySQL中的数据用各种不同的技术存储在文件（或者内存）中；每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的功能和能力；这些不同的实现数据存储的技术在MySQL的整体架构中逻辑化为“存储引擎层”；存储引擎，通常又被称作“表类型”（即可以在创建表时指定存储引擎，但无法对某一数据库指定存储引擎）阅读全文

posted @ 2014-05-13 14:36 想想宝宝阅读(1595) 评论(1) 推荐(1)

如何构建日均千万PV Web站点 (一)

摘要：

其实大多数互联网网站起初的网站架构都是(Linux+Apache+MySQL+PHP). 不过随着时代的发展，科技的进步.互联网进入寻常百姓家的生活。所谓的用户的需求，铸就了一个个互联网大牛； http://www.trueland.net/IndustryNews/gjszl.shtml 近日研究机构we are social发布了《2014年全球社会化媒体、数字和移动业务数据洞察》，公布了其对全球互联网、关键社交、数字化业务和移动应用的统计数据。报告指出全球数字化业务正以惊人的趋势保持高速增长，而促使这一发展趋势的正是多屏移动设备的推动。阅读全文

posted @ 2014-05-12 20:37 想想宝宝阅读(6382) 评论(13) 推荐(13)

MySQL 索引

摘要：

简介索引(也叫做键key)是存储引擎用于快速找到记录的一种数据结构；索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时；索引优化应该是对查询性能优化最有效的手段了，索引能够轻易将查询性能提高几个数量级；阅读全文

posted @ 2014-05-12 09:56 想想宝宝阅读(1308) 评论(0) 推荐(2)

MySQL Select

摘要：

查询分类单表查询：简单查询多表查询：连接查询联合查询：多个查询结果汇总查询的组成投影查询：挑选要显示的字段阅读全文

posted @ 2014-05-11 18:05 想想宝宝阅读(3590) 评论(1) 推荐(1)

分布式文件系统 ~MogileFS~

摘要：

一、分布式文件系统分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以及PB级的数量存储。相对地，在一个分享的磁盘文件系统中，所有节点对数据存储区块都有相同的访问权，在这样的系统中，访问权限就必须由客户端程序来控制。分布式文件系统可能包含的功能有：透通的数据复制与容错。也就是说，即使系统中有一小部份的节点脱机，整体来说系统仍然可以持续运作而不会有数据损失阅读全文

posted @ 2014-05-11 09:57 想想宝宝阅读(5797) 评论(3) 推荐(2)

使用HAproxy如何实现web站点的动静分离

摘要：

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。 HAProxy实现了一种事件驱动,单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。阅读全文

posted @ 2014-05-10 21:19 想想宝宝阅读(3876) 评论(0) 推荐(3)

MySQL 服务器变量数据操作DML-视图

摘要：

SQL语言的组成部分常见分类： DDL：数据定义语言 DCL：数据控制语言，如授权 DML：数据操作语言其它分类：完整性定义语言： DDL的一部分功能约束约束：包括主键，外键，唯一键，条件，非空，事务等各类约束视图定义：即虚表，就是存储下来的SELECT语句事务控制嵌入式SQL和动态SQL 阅读全文

posted @ 2014-05-10 19:28 想想宝宝阅读(840) 评论(0) 推荐(0)

MySQL 查询缓存

摘要：

查询流程：客户端发送一条查询给服务器；服务器先检查查询缓存，如果命中了缓存，则立即返回存储在缓存中的结果；否则，进入下一阶段；服务器进行SQL解析、预处理，再由优化器生成对应的执行计划； MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询；将结果返回给客户端；阅读全文

posted @ 2014-05-10 12:40 想想宝宝阅读(1662) 评论(0) 推荐(0)

NGINX 如何防盗链

摘要：一、安装Nginx：1、解决依赖关系# yum groupinstall "Development Tools" "Server Platform Deveopment"# yum install openssl-devel pcre-devel2、安装首先添加用户nginx，实现以之运行nginx... 阅读全文

posted @ 2014-05-10 10:49 想想宝宝阅读(2796) 评论(0) 推荐(0)

Apache 如何反向代理tomcat并且实现Session保持

摘要：简介LAMT=Linux+Apache+MySQL+Tomcat；Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器；在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选；架构需求Tomcat实现JSP动态请求解析的基本架构说明：由后... 阅读全文

posted @ 2014-05-10 02:03 想想宝宝阅读(6917) 评论(3) 推荐(1)

Linux 内核编译步骤及配置详解

摘要：前言 Linux内核是操作系统的核心，也是操作系统最基本的部分。 Linux内核的体积结构是单内核的、但是他充分采用了微内核的设计思想、使得虽然是单内核、但工作在模块化的方式下、并且这个模块可以动态装载或卸载；Linux负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳... 阅读全文

posted @ 2014-05-09 18:59 想想宝宝阅读(67908) 评论(4) 推荐(7)

NGINX如何反向代理Tomcat并且实现Session保持

摘要：简介LNMT=Linux+Nginx+MySQL+Tomcat；Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器；在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选；架构需求Tomcat实现JSP动态请求解析的基本架构说明：由后端... 阅读全文

posted @ 2014-05-09 10:54 想想宝宝阅读(12825) 评论(4) 推荐(8)

LogStash日志分析系统

摘要：简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，这个渐进的过程就开始了。日志管理一般会经历一下3个阶段：初级管理员将通过一些传统工具（如cat、tail、sed、awk、perl以及grep）对日志进行检查，但它的适用范围仅限于少量的主机和日志文件类型；考虑到现实中... 阅读全文

posted @ 2014-05-08 22:41 想想宝宝阅读(7388) 评论(0) 推荐(1)

bash编程之 ~制作Mini Linux系统~

摘要：说明1：在一个Linux宿主机系统上，通过以上步骤，可以制作一个微小的Linux系统（可以放置在U盘中等），然后在其它的主机（虚拟机或者物理机）上运行，以实现最小化定制系统的目的。说明2：上图中黑色部分是主要流程，蓝色部分是详细流程，棕色部分是注释说明等对于上图中几点细节的详解：阶段说明目标磁盘分区... 阅读全文

posted @ 2014-05-08 21:40 想想宝宝阅读(1437) 评论(0) 推荐(0)

OpenSSL

摘要：前言 openSSL是一款功能强大的加密工具、我们当中许多人已经在使用openSSL、用于创建RSA私钥或证书签名请求、不过、你可知道可以使用openSSL来测试计算机速度？或者还可以用它来对文件或消息进行加密。正文 openssl是一个开源程序的套件、这个套件有三个部分组成、一是libcryt... 阅读全文

posted @ 2014-05-08 14:26 想想宝宝阅读(8532) 评论(3) 推荐(5)

Linux High Availabi RHCS

摘要：-----本文大纲简介术语环境配置实现过程命令行管理工具-------------一、简介RHCS即 RedHat Cluster Suite ，中文意思即红帽集群套件。红帽集群套件（RedHat Cluter Suite, RHCS）是一套综合的软件组件，可以通过在部署时采用不同的配置，以满足你的... 阅读全文

posted @ 2014-05-08 07:26 想想宝宝阅读(4047) 评论(0) 推荐(1)

Varnish 4.0 实战

摘要：

简介 Varnish 是一款高性能且开源的反向代理服务器和 HTTP 加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合，与传统的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等诸多优点；目前最新版本是4.0.0，而3.x的版本也是可以生产环境下使用的稳定版本，但yum源中的2.x版本过于陈旧，不建议使用；阅读全文

posted @ 2014-05-08 00:33 想想宝宝阅读(11922) 评论(6) 推荐(6)

MySQL Proxy 实现MySQLDB 读写分离

摘要：一、简述MySQL Proxy是一个处于你的client端和MySQL server端之间的简单程序，它可以监测、分析或改变它们的通信。它使用灵活，没有限制，常见的用途包括：负载平衡，故障、查询分析，查询过滤和修改等等。MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就... 阅读全文

posted @ 2014-05-07 16:10 想想宝宝阅读(1910) 评论(0) 推荐(2)

MySQL Scale Out

摘要：简介MySQL复制中较常见的复制架构有“一主一从”、“一主多从”、“双主”、“多级复制”和“多主环形机构”等，见下图；最常用，也最灵活的就要数“一主多从”复制架构了，其能满足多种需求，如：为不同的角色使用不同的备库(例如添加不同的索引或使用不同的存储引擎)；把一台备库当做待用的主库，除了复制没有其它... 阅读全文

posted @ 2014-05-07 09:26 想想宝宝阅读(2150) 评论(1) 推荐(1)

LAMP架构之NFS

摘要：需求分析：前端需支持更大的访问量，单台Web服务器已无法满足需求了，则需扩容Web服务器；虽然动态内容可交由后端的PHP服务器执行，但静态页面还需要Web服务器自己解析，那是否意味着多台Web服务器都需要在各自的系统中都存有一份静态页面数据呢？其实这样也不是不可以，毕竟文件本地访问，速度还是有优... 阅读全文

posted @ 2014-05-07 03:05 想想宝宝阅读(1789) 评论(2) 推荐(1)

LAMP架构之PHP-FPM 服务器

摘要：PHP简介安装PHP解决依赖关系# 请配置好yum源（系统安装源及epel源）后执行如下命令：yum -y groupinstall "Desktop Platform Development"yum -y install bzip2-devel libmcrypt-devel mhash-deve... 阅读全文

posted @ 2014-05-06 20:52 想想宝宝阅读(1766) 评论(0) 推荐(2)

Vanish 详解

摘要：1、varnish概述：varnish是一款高性能且开源的方向代理服务器和HTTP加速器，它的开发者poul-HenningkampFreeBSD核心的开发人员之一。varnish采用全新的软件体系机构，和现在的硬件体系配合紧密，varnish是一个轻量级的cache和反向代理软件。先进的设计理念和... 阅读全文

posted @ 2014-05-06 14:49 想想宝宝阅读(11602) 评论(3) 推荐(3)

PHP ~与各加速工具的性能对比~

摘要：参与测试的加速器：Xcache，Opcache，hhvmXcache简介前面已经介绍了PHP加速器的原理和功用（参见LAMP架构之PHP-FPM 服务器），xcache作为目前使用广泛的PHP加速器之一，其性能比早期的eAccelerator加速器要优良，故本次就对比一下PHP程序在执行时加速器xc... 阅读全文

posted @ 2014-05-06 08:32 想想宝宝阅读(6817) 评论(4) 推荐(2)

如何编写LVS对Real Server的健康状态检测脚本

摘要：简介：Linux 虚拟服务器(Linux Virtual Server. LVS),是一个由章文松开发的自由软件.利用KVS可以实现高可用的、可伸缩缩的Web, Mail, Cache和Medial等网络股务..井在此基础上开发支持庞大用户数的，可伸缩的，高可用的电子商务应用。LVS1998年发展... 阅读全文

posted @ 2014-05-06 00:58 想想宝宝阅读(7654) 评论(2) 推荐(0)

MySQL DB 主从复制之SSL

摘要：需求架构准备工作主从服务器时间同步# 主从服务器同时配置crontab任务，与NTP服务器同步时间即可*/5 * * * * ntpdate 172.16.0.1 &>/dev/null部署配置主库配置vi /etc/my.cnf server-id = 1 # 在复制架构中，需保持全局唯一 ... 阅读全文

posted @ 2014-05-05 18:46 想想宝宝阅读(2400) 评论(1) 推荐(2)

MySQL 日志的类型

摘要：MySQL日志类别：一般查询日志：log，general_log，log_output慢查询日志：查询执行的时长超过指定的查询，即为慢查询；错误日志：通常时指错误日志的相关信息,通常用服务器关闭和启动的日志信息，服务器运行过程中的错误信息，还可以记录警告信息。二进制日志：只是跟修改相关的操作，可以理... 阅读全文

posted @ 2014-05-05 14:31 想想宝宝阅读(2119) 评论(0) 推荐(0)

Linux rescue

摘要：适用场景：当误操作修改系统启动文件/etc/fstab, /etc/rc.d/rc.sysinit时，就会造成系统启动时读取磁盘或初始化环境失败，导致linux无法正常启动，此时就可以借助Linux的救援模式临时进入系统，进行文件修改，纠正错误救援（rescue）模式的本质：只是一个带shell... 阅读全文

posted @ 2014-05-05 07:30 想想宝宝阅读(1194) 评论(0) 推荐(0)

MySQL-备份-恢复

摘要：MySQL/MariaDB数据备份与恢复备份数据对我们来说再重要不过了，那我们如何做到对数据尽可能的安全呢，当我们的数据丢失了那又该怎么做呢，所以说数据备份对我们的数据安全性来说太重要了。数据对我们来说再熟悉不过了，也最平常不过了，我们每天都在接触各色各样的数据，数据记录了我们平常相关的业务... 阅读全文

posted @ 2014-05-04 23:32 想想宝宝阅读(1858) 评论(2) 推荐(0)

NGINX 反向代理

摘要：前言：我想通过上一章如何测试Nginx的高性能，想必大家对于NGINX作为一个高性能的web服务器毫无异议；但是NGINX的功能绝不局限于简单的web服务器，NGINX在互联网扮演的角色也并非只是作为web服务器，其实在实际的应用场景下，NGINX更多是用来做web的反向代理.什么是反向代理： ... 阅读全文

posted @ 2014-05-04 17:15 想想宝宝阅读(8454) 评论(4) 推荐(2)

LINUX 高可用群集之 ~Corosync~

摘要：Corosync：它属于OpenAIS(开放式应用接口规范)中的一个项目corosync一版本中本身不具备投票功能，到了corosync 2.0之后引入了votequorum子系统也具备了投票功能了，如果我们用的是1版本的，又需要用到票数做决策时那该如何是好呢；当然，在红帽上把 cman + co... 阅读全文

posted @ 2014-05-04 11:04 想想宝宝阅读(13115) 评论(1) 推荐(0)

What is the Linux High Availabi

摘要：What is the Linux High Availabi 简介：高可用性群集的出现是为了使群集的整体服务尽可能可用，以便考虑计算硬件和软件的易错性。如果高可用性群集中的主节点发生了故障，那么这段时间内将由次节点代替它。次节点通常是主节点的镜像，所以当它代替主节点时，它可以完全接管其身份，并且因此使系统环境对于用户是一致的。阅读全文

posted @ 2014-05-04 07:16 想想宝宝阅读(1019) 评论(0) 推荐(0)

MySQL 架构

摘要：MySQL架构和结构分析官方架构图：MySQL DB 各模块架构图如下：MySQL安装方式MySQL初始化简介：什么是事务；事务： ACID ：事务确保了银行不会弄丢你的钱，而这种特性在应用逻辑设计中是很难实现的，甚至不可实现。一个ACID兼容的数据库服务器，要为事务处理大量的复杂工作确保ACI... 阅读全文

posted @ 2014-05-03 22:20 想想宝宝阅读(1912) 评论(0) 推荐(2)

Lnmmp

摘要：简介LNMMP=Linux+Nginx+MySQL+Memcache+PHP；利用Nginx的高性能特点做前端反向代理服务器，分发用户请求，并在能够利用缓存的地方使用Memcache缓存服务，以加速缓存效率，具体架构图如下；具体部署代理层：Nginx编译安装Nginxyum install gcc ... 阅读全文

posted @ 2014-05-03 15:53 想想宝宝阅读(1423) 评论(2) 推荐(1)

HAproxy + keepalived 实现双机热备

摘要：一、HAProxy简介：HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接... 阅读全文

posted @ 2014-05-03 09:50 想想宝宝阅读(6310) 评论(0) 推荐(4)

IPtables/NetFilter

摘要：前提知识任何主机若要与非同网络中的主机通信，则必须将报文发送到默认网关；对Linux而言，IP地址是属于主机(内核中)的，不属于网卡，只要属于当前主机的IP地址间，都可直接响应，不称为转发私有地址在路由器上是不允许被路由的防火墙的类型与作用的链主机防火墙：一般使用INPUT，OUTPUT链来过滤进入... 阅读全文

posted @ 2014-05-02 22:59 想想宝宝阅读(2378) 评论(1) 推荐(1)

如何测试Nginx的高性能

摘要：简介Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器；作为一款轻量级的Web服务器，具有占有内存少，并发能力强等优势，是高连接并发场景下Apache的不错的替代品；本篇主要介绍Nginx作为Web服务器时，相对于Apache... 阅读全文

posted @ 2014-05-02 16:57 想想宝宝阅读(6289) 评论(3) 推荐(1)

MariaDB 10 (MySQL DB) 多主复制并实现读写分离

摘要：----本文大纲简介资源配置拓扑图实现过程====================一、简介MMM 即Master-Master Replication Manager for MySQL（mysql主主复制管理器）关于mysql主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有... 阅读全文

posted @ 2014-05-02 10:18 想想宝宝阅读(7530) 评论(1) 推荐(1)

利用BusyBox ~私人定制 My LINUX~

摘要：前言我在今天在这里跟大家详细地探讨一下Linux系统的定制过程和实现例如、用户能够远程登录；和Nginx能够稳定地运行在我们私人定制的LINUX系统上、一步一步从头开始定制属于我们自己的系统。正文首先我们先来简单的介绍一下我们这里定制属于自己的Linux系统的基本元素. 一个定制的linu... 阅读全文

posted @ 2014-05-02 00:59 想想宝宝阅读(11893) 评论(6) 推荐(3)

MariaDB 主从复制

摘要：MySQL Replication：NySQL复制，MySQL的复制默认为异步工作模式 mysql的复制功能是mysql内置的，装上它之后就具备了这个功能，而mysql复制是mysql实现大规模高性能应用的一个基本工具，是mysql完成水平扩展的基本架构，为了能够应付更多的访问请求，通常情况下我们... 阅读全文

posted @ 2014-05-01 17:14 想想宝宝阅读(6053) 评论(1) 推荐(0)

05 2014 档案

公告