摘要：http://wiki.apache.org/hadoop/FAQ#On_an_individual_data_node.2C_how_do_you_balance_the_blocks_on_the_disk.3F 关于这个问题，Hadoop暂时未提供自动解决的方案，已经提上日程，jira上有记录。 hadoop wiki上提到了手动处理的解决方案。如上链接如示。 问题描... 阅读全文

摘要：设置yarn.scheduler.fair.user-as-default-queue =fasle, 就会阻止每一个用户使用自己默认的队列。 设置yarn.scheduler.fair.allow-underclared-pools =true 就允许用户在执行任务的时候创建指定的不存在的队列。 存储在sequencefile中的key value不一定需要是实现writable接口的类，所... 阅读全文

摘要：数据正确性检测的技术，通常使用checksum，在数据进行传输前，计算一个checksum值，传输到目标地之后，再根据新的文件计算checksum值，如果不匹配，则说明数据损坏或被改变。只能校验，不提供修复方法。 建议使用ECC内存，提高校验正确率,但这又和hadoop的设计初衷违背？ 常见的错误侦测码是CRC-32,HADOOP的ChecksumFileSystem 使用这个编码。 cod... 阅读全文

摘要：Hadoop提供的对其HDFS上的数据的处理方式，有以下几种， 1 批处理，mapreduce 2 实时处理：apache storm, spark streaming , ibm streams 3 交互式: 如pig , spark shell 都可以提供交互式地数据处理 4 sql: hive , impala 提供接口，可以使用sql标准语言进行数据查询分析 5 迭代处理：尤其是... 阅读全文