大话存储 - 随笔分类 - dy2903

【大话存储II】学习笔记（15章），对象存储

摘要：在谈对象存储是什么之前，我们先回顾一下块存储和文件存储是什么块存储与文件存储块存储：常见的块存储设备是磁盘阵列，它会向主机提供裸磁盘空间。也就是说操作系统看到的只是一块磁盘而已，虽然它底层可能是多块硬盘组合起来的逻辑盘。这种方式下，操作系统还可以对挂载的裸硬盘进行分区、格式化，与主机阅读全文

posted @ 2018-03-05 11:07 dy2903 阅读(752) 评论(0) 推荐(0)

【计算机原理】程序执行过程

摘要：本章主要介绍程序执行过程中操作系统、CPU都干了什么运行前程序在运行前，只是在硬盘上待着，此时就是一堆二进制代码而已，没有任何作用。程序只有进入了内存才能运行，但是要进入内存，则需要服从操作系统的调度。一个程序在运行的时候可能需要很大的空间，比如3G，但是操作系统不可能为每个程序都分阅读全文

posted @ 2018-02-19 12:20 dy2903 阅读(5298) 评论(0) 推荐(1)

【大话存储】学习笔记（17章），数据容灾

摘要：数据容灾数据备份系统只能保证实际上被安全复制了一份，如果生产系统故障，必须将备份数据尽快的恢复到生产系统中继续生产，就叫。容灾可以分为四个级别：数据级容灾：只是将生产站点的数据同步到远端。与应用结合的数据级容灾：保证对应应用数据一致性。应用级容灾：需要保证灾难发生以后，需要保证原生成系统阅读全文

posted @ 2018-02-18 18:45 dy2903 阅读(904) 评论(0) 推荐(0)

【大话存储II】学习笔记（18章），数据前处理和后处理

摘要：存储其实就是一台主机，上面也运行着各种各样的应用程序，可以在原本的裸数据之上实现更高级的功能，实现更多的附加值。现在的高端存储越来越开发，比如EMC 的 V MAX，高端存储也用普通的x86了。存储系统有两大功能：数据存储和数据管理。数据存储：控制器、磁盘、HBA卡等，主要是提供裸数据存储服阅读全文

posted @ 2018-02-18 18:45 dy2903 阅读(600) 评论(0) 推荐(0)

【大话存储】学习笔记（20章），云存储

摘要：目前云计算、云存储、云备份等技术可谓是铺天盖地，其中不乏有很多是浑水摸鱼的，本来没有多少云的性质，只是打着云的旗号来炒作而已。目前市场对一款产品是否是云，没有明显的界定。因为云本来就没有一个标准。云的是怎么来的国外在指代一堆设备的时候，一般使用Cluster这个词，而中文翻译一般是“簇”或阅读全文

posted @ 2018-02-18 18:43 dy2903 阅读(1126) 评论(0) 推荐(0)

【大话存储】学习笔记（16章），数据保护和备份技术

摘要：数据保护所谓数据保护是指对当前时间点上的数据进行备份，如果说一份数据被误删除了，可以通过备份数据找回来。从底层来分，数据保护可以分为文件级保护和块级保护。文件级备份文件级备份：将磁盘上所有文件通过调用文件系统接口备份到另一个介质上。也就是把数据以文件形式读出，然后存储在另一个介阅读全文

posted @ 2018-02-15 18:07 dy2903 阅读(776) 评论(0) 推荐(0)

【大话存储II】学习笔记（15章），NoSQL

摘要：互联网运营商（NSP）的数据中心是数据最集中的地方，也正是因为海量的数据存储与访问，传统的存储架构已经无法满足了现有的需求。比如每秒几十万次的随机IOPS、每秒10GB的流量，一般都需要使用高端存储，当然价格将不便宜。而且扩展性不好，扩容成本高。业务的不断增加，导致互联网运营商逐步使用分布式系统阅读全文

posted @ 2018-02-15 14:02 dy2903 阅读(314) 评论(0) 推荐(0)

【大话存储II】学习笔记（15章），集群概论

摘要：随着应用程序对服务器、存储系统的系统要求越来越高，单台设备有时已经无法满足需求了，此时我们有两种方法可以解决：使用性能更高的机器，但是成本以及维护成本非常高，而且不见得适合所有的应用。多台设备联合起来对外提供服务，这就是集群。主机可以形成集群，存储设备也可以形成集群。目前中高端存储设备自身就有阅读全文

posted @ 2018-02-14 21:09 dy2903 阅读(492) 评论(0) 推荐(0)

【大话存储II】学习笔记（15章），文件级集群系统

摘要："【大话存储II】学习笔记（15章），块级集群存储系统" 里面分析的主要是块集群系统，同样文件级存储也可以集群化。因为NAS系统的前端网络是以太网，速度比较低，导致NAS主要用于一些非关键业务中，比如文件共享。但是一些特殊应用也需要多主机同时访问某个大文件，比如3D渲染集群等。如果我们使用块集群存阅读全文

posted @ 2018-02-14 21:07 dy2903 阅读(980) 评论(0) 推荐(0)

【大话存储II】学习笔记（15章），块级集群存储系统

摘要：存储系统演变存储系统一直以来都是一个总的控制器加上几串磁盘扩展柜存在的，但是随着数据量的快速增加，性能受限于控制器，所以要提升整体的处理能力，主要有两种方法：最简单的是在单个控制器中加入更多的CPU、内存等，就如同PC机性能不够了，就加内存、换SSD等。这种扩展方式称为这种方式的问题是，随阅读全文

posted @ 2018-02-13 14:09 dy2903 阅读(894) 评论(0) 推荐(0)

【大话存储】学习笔记（14章），虚拟化.md

摘要：操作系统对硬件的虚拟化：就是为其他程序提供编写和运行环境的程序。由程序来运行程序，而不是程序自己来运行，这是操作系统提供的虚拟化的表现。加电之后，首先运行OS，随时可以载入其他程序执行。执行完以后切换回OS本身。但是每次还是要等待这个程序执行完毕，才能接着载入下个程序执行。任何中阅读全文

posted @ 2018-02-12 10:33 dy2903 阅读(652) 评论(0) 推荐(0)

【大话存储II】学习笔记（2章）， SSD

摘要：我们知道机械硬盘最大的缺点在于，寻道时间比较长，也就是不适合随机小块IO。所以这几年固态存储大行其道，因为它对任何地址访问的开销都相等，节省了机械寻道时间，所以随机IO性能很好。当前的SSD硬盘，单块SSD的大块连续读吞吐量超过了350MB/s，写超过了210MB/s，甚至4K块随机读吞吐量超过了阅读全文

posted @ 2018-02-11 20:37 dy2903 阅读(1342) 评论(0) 推荐(0)

【大话存储】学习笔记（10~13章），NAS、IP SAN.md

摘要：DAS , SAN , NAS NAS LUN只是一个卷设备，对主机而言就是一块硬盘，我们的操作系统集成了文件系统的功能，可以用来管理卷。而 NAS就是把文件系统从主机迁移到磁盘阵列上，自己来管理。使用者只需要通过网络告诉这个文件系统需要存取什么文件而不需要向NAS传递LBA地址。那么 NAS与S 阅读全文

posted @ 2018-02-10 11:25 dy2903 阅读(1034) 评论(0) 推荐(0)

【大话存储】学习笔记（7,8章），FC协议

摘要：Fibre Channnel 我们之前引入了SAN的概念，SAN首先是个网络，而不是存储设备。这个网络是专门来给主机连接存储设备用的。我们知道按照SCSI总线16个节点的限制，不可能接入很多的磁盘，要扩大SAN的规模，只使用SCSI总线是不行的，所以必须找到一种可寻址容量大、稳定性强、速度块、阅读全文

posted @ 2018-02-09 11:05 dy2903 阅读(7221) 评论(0) 推荐(0)

【大话存储】学习笔记（13章），协议融合

摘要：协议融合 TCP/IP满足了Internet范围的网络通信，FC满足了后端存储的专用高速公路，而SCSI不适合Internet的通信。这就如同火车或者汽车，同样是运输货物，但是它们都适应了不同的需要。对于SCSI而言，如果要跨越大范围的通信，就要将其承载到TCP/IP上，形成了ISCSI协议。TC 阅读全文

posted @ 2018-02-07 14:51 dy2903 阅读(733) 评论(0) 推荐(0)

【大话存储】学习笔记（11章），TCP/IP

摘要：TCP/IP协议以太网的出现，给系统的互联带来方便的方式，每个节点安装一块以太网适配器，上层程序只要将发送的数据以及目的MAC地址告诉以太网卡，就可以完成通信过程。但是实际上，以太网不能直接被应用程序用来收发数据的，因为以太网是一个没有传输保障的网络。表现在：不会对数据帧进行校验纠错。如阅读全文

posted @ 2018-02-07 10:22 dy2903 阅读(383) 评论(0) 推荐(0)

【大话存储】学习笔记（7章）， OSI模型

摘要：任何系统之间，如果需要通信，都需要一套自己的协议系统。这个协议系统一般要定义互相通信的语言，以及硬件。 OSI是被提取抽象出来的系统间通信模型，中文意思是“开放式系统互联”，是描述多个系统之间交流的通用模型。 OSI模型 OSI初步在讲OSI之间，我们首先看一个例子，PC a向PC b发送数据包的阅读全文

posted @ 2018-02-06 15:27 dy2903 阅读(426) 评论(0) 推荐(0)

【大话存储】学习笔记（6章），磁盘阵列

摘要：磁盘阵列 JBOD 在过去一台服务器只能放两三块盘，远远不能满足要求，所以可以把盘放到主机的外面。也就是说专门拿一个箱子，所有磁盘都放在机箱里面，而且独立电源和散热，接口方面，内部其实就是一条SCSI线缆，这就形成了磁盘柜(Just a Bound Of Disk ， JBOD) ，顾名思义，实际阅读全文

posted @ 2018-02-05 15:33 dy2903 阅读(2742) 评论(0) 推荐(0)

【大话存储】学习笔记（4，5章），RAID

摘要：RAID 上一章介绍了磁盘的基本原理，我们知道一块磁盘的容量和速度是有限的，对于一些应用来说，可能需要几个TB的大小的来存放数据，我们必须要制造更大单盘容量的磁盘吗？实际上，可以使用多块磁盘并行起来解决这个问题，这就是RAID技术。 :独立的磁盘组成具有冗余特性的阵列。Redundant Array 阅读全文

posted @ 2018-02-05 15:33 dy2903 阅读(1362) 评论(0) 推荐(1)

【存储相关】文件系统

摘要：为什么要文件系统在这篇 "【大话存储】学习笔记（一），磁盘" 我们说到了硬盘的原理，如果要从硬盘里面取数据，需要告诉控制器从哪里取，取多长等关键信息，如果这个步骤由应用来做，则实在太磨人了。所以操作系统提供了一个，对我们来说，只需要记住文件名和路径，其他的与磁盘块打交道的事情就交给这个中间层来阅读全文

posted @ 2018-01-27 20:54 dy2903 阅读(560) 评论(0) 推荐(0)

随笔分类 - 大话存储

公告