大自然的流风

摘要： hadoop概述测试题和基础模版代码 阅读全文

摘要： Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。 阅读全文

摘要： Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单 机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有 3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何 Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 阅读全文