随笔分类 -  存储/大数据/分布式/文件系统

摘要：HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率。 在大多数情况下，HDFS的副本系数是3，HDFS的存放策略是一个副本存放在本地机架节点上，另一个副本存放在同一机架的另一个节点上，第三个副本存放在在不同机架的节点上。这种策略减少了机架间的数据传输，提高了写操作的效率。 阅读全文

摘要：CENTOS6.4上KVM虚拟机环境搭建关键词：KVM,虚拟机，windows7, VNC, 桥接网络，br0, SCSI, IDE环境：host: CENTOS6.4guest: windows 7 sp1主要步骤：安装软件包配置桥接网络配置VNC安装虚拟机1.安装软件包 yum instal... 阅读全文

摘要：近期在RHEL6.4上尝试搭建一个NAS，底层使用XFS文件系统，对外主要提供samba协议和NFS协议共享，这里把主要步骤记录下来。环境：RHEL6.4，IP:192.168.50.1171.关闭防火墙和SELinux查看SELINUX状态：#sestatus关闭SELinux:#vim /etc/selinux/config SELINUX="" ===> SELINUX=disabled#setenforce 0查看防火墙状态：chkconfig --list iptables关闭防火墙：#chkconfig iptables offservice iptabl 阅读全文

摘要：Linux IO调度器相关算法介绍转自：http://www.realzyy.com/?p=984IO调度器（IO Scheduler）是操作系统用来决定块设备上IO操作提交顺序的方法。存在的目的有两个，一是提高IO吞吐量，二是降低IO响应时间。然而IO吞吐量和IO响应时间往往是矛盾的，为了尽量平衡这两者，IO调度器提供了多种调度算法来适应不同的IO请求场景。其中，对数据库这种随机读写的场景最有利的算法是DEANLINE。接着我们按照从简单到复杂的顺序，迅速扫一下Linux 2.6内核提供的几种IO调度算法。1、NOOPNOOP算法的全写为No Operation。该算法实现了最最简单的FIF 阅读全文

摘要：转自：http://hi.baidu.com/xms_hero/blog/item/62fd0354dc2c01143b293525.htmlLINUX softraid 管理工具软件包括 mdadm, raidtools 两个软件包, 这两个是相同功能的软件包, mdadm 功能强大,是新的.ra... 阅读全文

摘要：关键词： linux software raid, md, raid10, r10_private_data_s, near_copies, far_copies, far_offset内核版本：2.6.18linux内核md模块实现的RAID10有三种laout模式，分别为near, far和of... 阅读全文

摘要：转自：http://www.vjianke.com/ZZCCR.clip 你发现快要过年了，于是想给你的女朋友买一件毛衣，你打开了www.taobao.com。这时你的浏览器首先查询DNS服务器，将www.taobao.com转换成ip地址。不过首先你会发现，你在不同的地区或者不同的网络（电信、联通 阅读全文

摘要：NAS(Network-attached storage,网络连接存储)是一种连接到局域网的基于IP的文件共享设备，它消除了对多个文件服务器的需求，通过文件级的数据访问和共享，提供了存储的整合。文件共享是指在网络上进行文件存储和访问。文件共享环境的实现例子：FTP,分布式文件系统(DFS)，由文件共享协议实现的传统的客户/服务器模型。NAS设备拥有以下组件：NAS头(包括CPU和内存)；一个或多个网络接口卡；一个优化过的操作系统，用于管理NAS的功能；工业标准存储协议，用于连接和管理物理存储资源，如ATA、SCSI或FC等。客户端通过采用标准协议的IP网络对NAS设备进行访问。NAS使用网络和 阅读全文

摘要：转自：http://helloyesyes.iteye.com/blog/1083912【IT168 专稿】8月27日下午，在IT168系统架构师大会存储与系统架构分论坛上，淘宝网技术委员会，淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构。章文嵩博士的演讲日程包括了淘宝的整个系统架构、淘宝图片存储系统架构，淘宝网独立开发的TFS集群文件系统，前端CDN系统以及淘宝网在节能服务器方面的应用和探索。LVS创始人，淘宝网技术委员会，淘宝网核心工程师章文嵩先生 本文侧重介绍淘宝网后台的图片存储系统架构、包括TFS集群文件系统，以及前端处理服务器架构。该系统前端CDN架构，以及淘. 阅读全文