摘要: 引言HDFS同时发送到客户端请求的数据,和紧跟在后面的数据(多余的数据),随机访问会有问题A 性能 针对同一个服务器的多个访问 针对同个不同的服务器怎么辨别是否是随机访问? 这个事情是客户端做的,判断偏移 阅读全文
posted @ 2012-02-17 16:02 zaleilynn 阅读(276) 评论(0) 推荐(0)
摘要: 引言前提和设计目标硬件错误流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性Namenode 和 Datanode文件系统的名字空间 (namespace)数据复制副本存放: 最最开始的一步副本选择安全模式文件系统元数据的持久化通讯协议健壮性磁盘数据错误,心跳检测和重新复制集群均衡数据完整性元数据磁盘错误快照数据组织数据块Staging流水线复制可访问性DFSShellDFSAdmin浏览器接口存储空间回收文件的删除和恢复减少副本系数参考资料引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上 阅读全文
posted @ 2012-02-17 14:41 zaleilynn 阅读(284) 评论(0) 推荐(0)
摘要: 文章集中于key-value storeLocality-sensitive hashing(LSH) is a method of performing probabilisticdimension reductionof high-dimensional data. The basic idea is tohashthe input items so that similar items are mapped to the same buckets with high probability (the number of buckets being much smaller than th 阅读全文
posted @ 2012-02-17 00:07 zaleilynn 阅读(7970) 评论(0) 推荐(0)