随笔分类 -  hdfs官方文档

摘要：透明加密：http://blog.csdn.net/linlinv3/article/details/44963429 hadoop透明加密 kms简介 Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件，client和server之间基于HTTP协议... 阅读全文

摘要：集中的HDFS缓存管理，该机制可以让用户缓存特定的hdfs路径，这些块缓存在堆外内存中。namenode指导datanode完成这个工作。Centralized cache management in HDFS has many significant advantages.Explicit pinning prevents frequently used data from being ... 阅读全文

摘要：当client请求数据时，datanode会读取数据然后通过TCP协议发送给client.short-circuit绕过了datanode直接读取数据。short-circuit的前提是client和数据在同一个结点上。 short-circuit需要libhadoop.so，一个本地库。该功能使用unix套接字，client和node通过套接字连接，需要对这个套接字设置一个路径，并... 阅读全文

摘要：1.权限模式 简单：启动HDFS的操作系统用户即为超级用户，可以通过HADOOP_USER_NAME指定 kerberos：2.group mapping 组列表由group mapping service完成，该服务由hadoop.security.group.mapping参数决定，默认值是org.apache.hadoop.security.JniBasedUnixGro... 阅读全文

摘要：参考：http://hadoop.apache.org/docs/r2.6.3/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html 离线镜像查看器用于查看HDFS镜像。hadoop2.4之前的镜像查看器与之后的不同，要查看2.4之前的，请用2.3的查看器，或者用oiv_legacy Command 命令。输出格式：1)web http(默... 阅读全文

摘要：离线日志查看器可以将二进制日志翻译成可读的文件(如XML)，只有当hadoop集群停止时才能使用。输入文件支持的类型：XML和二进制。输出文件支持类型：XML 二进制 Stats(标准输出？) 使用方法：bash$ bin/hdfs oev -i edits -o edits.xmlFlagDescription[-i ; --inputFile] input fileSpecify... 阅读全文

摘要：1.介绍 HDFS快照保存某个时间点的文件系统快照，可以是部分的文件系统，也可以是全部的文件系统。快照用来做数据备份和灾备.有以下特点：1.快照几乎是实时瞬间完成的2.只有在做快照时文件系统有修改才需要额外的内存3.datanode上的块不需要复制。快照文件记住块的列表和文件的大小4.对HDFS没有不利的影响。在文件系统有更改时做快照，不影响数据的写入读出，快照会根据当前块的数据减去变化的数... 阅读全文

摘要：本文介绍的是HDFS的一种HA方案。虽然有checkpoint node \backup node等，但是不能实现自动的failover.http://hadoop.apache.org/docs/r2.6.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html1.在2.0.0版本以下，namenode是单个的，如果na... 阅读全文

摘要：命令具体选项请参考： http://hadoop.apache.org/docs/r2.6.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html 1.HDFS命令通过bin/hdfs执行，语法如下： hdfs [--config confdir] [ 阅读全文

摘要：1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, 阅读全文