zaleilynn

摘要： 实例一 使用qemu-img命令使用快照 kvm环境下qcow2的镜像支持快照1 确认镜像的格式 [root@nc1 boss]# qemu-img info test.qcow2 image: test.qcow2 file format: qcow2 virtual size: 10G (10737418240 bytes) disk size: 1.6G cluster_size: 655362 为镜像test.qcow2创建快照，创建快照并没有产生新的镜像，虚拟机镜像大小增加，快照应属于镜像。 [root@nc1 boss]#qemu-img snapshot -c snapshot. 阅读全文

摘要： 随着非结构化数据的爆炸，分布式文件系统进入了发展的黄金时期，从高性能计算到数据中心，从数据共享到互联网应用，已经渗透到数据应用的各方各面。对于大多数分布式文件系统(或集群文件系统，或并行文件系统)而言，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的系统扩展性和I/O并发性。因而，元数据管理模型显得至关重要，直接影响到系统的扩展性、性能、可靠性和稳定性等。存储系统要具有很高的Scale-Out特性，最大的挑战之一就是记录数据逻辑与物理位置的映像关系即数据元数据，还包括诸如属性和访问权限等信息。特别是对于海量小文件的应用，元数据问题是个非常大的挑战。总体来说，分布式文件系 阅读全文

摘要： 高可用性、高性能、能随机读写、快速故障恢复、数据快照、回滚等特性。hadoop dfs 可被看做一个可靠的、随时可扩展的“磁盘”。log structrue filesystem。特别感谢 hlfs开发起源不能不提到淘宝的杨志峰和其团队几位未曾谋面的朋友，他们在阿里云曾借鉴log-structured file system公开论文开发过一个标准的log structrue filesystem （轩辕系统）原来设想用于虚拟机存储，但很可惜由于种种原因项目最终夭折，没有被最后采纳。 我有幸当时看过他们的文档和代码，虽然当时我对log structure filesystem理解和虚拟机... 阅读全文

摘要： Glance项目提供虚拟机镜像的发现，注册，取得服务。这个好像就是一个目录服务某人说glance就是把本地的目录当s3放出去 阅读全文

摘要： 不是一个文件系统a long-term storage system for a more permanent type of static data that can be retrieved, leveraged, and then updated if necessaryvirtual machine images, photo storage, email storage and backup archivingdistributed architecture这个跟HDFS很像The core storage system is designed to provide a safe, 阅读全文

摘要： 找工作要找有机会上市的，而不要找已经上市了的：美团小米...等等都可以考虑 阅读全文

摘要： Comparing Scality RING Object Store & Hadoop HDFS filesystemwith 5 commentsIt’s a question that I get a lot so I though let’s answer this one here so I can point people to this blog post when it comes out again!So first, introduction,What are Hadoop and HDFS?HadoopApache Hadoop is a software fra 阅读全文

摘要： 引言HDFS同时发送到客户端请求的数据，和紧跟在后面的数据（多余的数据），随机访问会有问题A 性能 针对同一个服务器的多个访问 针对同个不同的服务器怎么辨别是否是随机访问？ 这个事情是客户端做的，判断偏移 阅读全文

摘要： 引言前提和设计目标硬件错误流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性Namenode 和 Datanode文件系统的名字空间 (namespace)数据复制副本存放: 最最开始的一步副本选择安全模式文件系统元数据的持久化通讯协议健壮性磁盘数据错误，心跳检测和重新复制集群均衡数据完整性元数据磁盘错误快照数据组织数据块Staging流水线复制可访问性DFSShellDFSAdmin浏览器接口存储空间回收文件的删除和恢复减少副本系数参考资料引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上 阅读全文

摘要： 文章集中于key-value storeLocality-sensitive hashing(LSH) is a method of performing probabilisticdimension reductionof high-dimensional data. The basic idea is tohashthe input items so that similar items are mapped to the same buckets with high probability (the number of buckets being much smaller than th 阅读全文