文章分类 -  Hadoop大数据应用

摘要：HA架构==高可用架构 Zookeeper分布式协调服务，负责管理维护主备架构的移植性和可靠性，以及维护主备间元信息的一致性 YARN 阅读全文

摘要：1 保证伪分布式集群启动正常 2 把CentOS上的hadoop目录下载到Windows上（可使用WinSCP） 3 在/hadoop/bin目录下放入winuitls插件 4 配置环境变量（HADOOP_HOME 以及 path） 5 idea中创建Maven项目，导入依赖的jar包 创建：new 阅读全文

摘要：MapReduce的核心思想：分而治之 MapReduce实例 MapTask部分： “溢写”操作：读取文件分成许多MapTask进入内存缓冲区时，内存会有限制，当读取的数据达到内存限制的80％时，Map任务会启动另外一个线程，把Map任务的数据写进磁盘保存起来。 ReduceTask部分： Shu 阅读全文