Hadoop - 随笔分类(第2页) - yuerspring

摘要：CDH 环境搭建配置集成搭建CM 挺费劲 CM 里面安装和管理服务确实方便太多阅读全文

posted @ 2016-07-15 18:01 yuerspring 阅读(280) 评论(0) 推荐(0)

摘要：YARN基本架构 Yarn 搭建也采用了HA ， yarn-site.xml 阅读全文

posted @ 2016-07-15 09:07 yuerspring 阅读(107) 评论(0) 推荐(0)

摘要：一、调优的目的充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper... 阅读全文

posted @ 2016-07-03 17:07 yuerspring 阅读(244) 评论(0) 推荐(0)

摘要：官网使用了三张图来描述shuffle 过程，Map 和 reduce 是我们自己写的程序，所以没有写进这三个图里面,今天主要围绕这三张图我们做一个简单的说明和复习：第一张图，从整体上把握流程上图提供的是整个流程的一部分，全部流程应该是有 4 个 Map ，3 ... 阅读全文

posted @ 2016-06-15 10:51 yuerspring 阅读(156) 评论(0) 推荐(0)

摘要：Jetty 是一个开源的servlet容器，它为基于Java的web容器，例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-... 阅读全文

posted @ 2016-05-27 15:50 yuerspring 阅读(235) 评论(0) 推荐(0)

摘要：大数据技术之Hadoop-----> 未完，待续到官网下载 hadoop-2.5.2.tar.gz ，解压到没有中文的路径下配置环境变量 HADOOP_HOME 配置Path 路径 %HADOOP_HOME%/bin ；%HADOOP_HOME%/sbin... 阅读全文

posted @ 2016-05-03 22:52 yuerspring 阅读(270) 评论(0) 推荐(0)

yuerspring