随笔分类 -  大数据系列

上一页 1 2 3 4 5
MapReduce原理与设计思想
摘要：转自：http://www.cnblogs.com/archimedes/p/mapreduce-principle.html简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？MapReduce方法则是：给在座的所有玩家中分配... 阅读全文
posted @ 2015-11-29 01:26 五三中 阅读(421) 评论(0) 推荐(0)
mapreduce框架详解
摘要：转自：http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个... 阅读全文
posted @ 2015-11-29 01:24 五三中 阅读(1118) 评论(0) 推荐(0)
Hadoop家族学习路线图
摘要：转自：http://blog.fens.me/hadoop-family-roadmap/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chuk... 阅读全文
posted @ 2015-11-29 01:04 五三中 阅读(225) 评论(0) 推荐(0)
大数据和Hadoop生态圈
摘要：转自：http://www.cnblogs.com/hadoopdev/p/3528616.html一、前言： 非常感谢Hadoop专业解决方案群：313702010，兄弟们的大力支持，在此说一声辛苦了，经过两周的努力，已经有啦初步的成果，目前第1章 大数据和Hadoop生态圈小组已经翻译完成，在... 阅读全文
posted @ 2015-11-29 00:58 五三中 阅读(847) 评论(0) 推荐(0)
hive入门学习线路指导
摘要：转自：http://www.aboutyun.com/thread-7598-1-1.htmlhive被大多数企业使用，学习它，利于自己掌握企业所使用的技术，这里从安装使用到概念、原理及如何使用遇到的问题，来讲解hive，希望对大家有所帮助。此篇内容较多：看完之后需要达到的目标1.hive是什么2.... 阅读全文
posted @ 2015-11-19 01:18 五三中 阅读(507) 评论(0) 推荐(0)
HDFS详解
摘要：转自：http://www.cnblogs.com/chinacloud/archive/2010/12/03/1895369.html【一】HDFS简介HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64... 阅读全文
posted @ 2015-11-13 23:53 五三中 阅读(371) 评论(0) 推荐(0)
MapReduce调度与执行原理系列文章
摘要：转自：http://blog.csdn.net/jaytalent?viewmode=contentsMapReduce调度与执行原理系列文章一、MapReduce调度与执行原理之作业提交二、MapReduce调度与执行原理之作业初始化三、MapReduce调度与执行原理之任务调度四、MapRedu... 阅读全文
posted @ 2015-11-06 20:19 五三中 阅读(332) 评论(0) 推荐(0)
Hadoop2的Yarn和MapReduce2相关
摘要：转自： http://www.aboutyun.com/thread-7678-1-1.html。。问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用 ？背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、... 阅读全文
posted @ 2015-11-06 17:14 五三中 阅读(4396) 评论(1) 推荐(0)
hadoop学习WordCount+Block+Split+Shuffle+Map+Reduce技术详解
摘要：转自：http://blog.csdn.net/yczws1/article/details/21899007纯干货：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。 Shuffle过程是MapReduc... 阅读全文
posted @ 2015-11-06 16:41 五三中 阅读(1470) 评论(0) 推荐(0)
WordCount示例深度学习MapReduce过程
摘要：转自：http://blog.csdn.net/yczws1/article/details/21794873.我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一段话，然后运行Hado... 阅读全文
posted @ 2015-11-06 16:32 五三中 阅读(858) 评论(0) 推荐(0)
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
摘要：转自：http://blog.csdn.net/yczws1/article/details/19178265。纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、H... 阅读全文
posted @ 2015-10-29 01:17 五三中 阅读(5735) 评论(0) 推荐(1)
ZooKeeper源码分析：Quorum请求的整个流程(转)
摘要：Quorum请求是转发给Leader处理，并且需要得一个Follower Quorum确认的请求。这些请求包括：1）znode的写操作(OpCode.create，OpCode.delete，OpCode.setData，OpCode.setACL)2）Session的创建和关闭操作（OpCode.... 阅读全文
posted @ 2015-05-26 21:56 五三中 阅读(1588) 评论(0) 推荐(0)
ZooKeeper原理及使用
摘要：ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍Zo... 阅读全文
posted @ 2015-05-26 21:54 五三中 阅读(473) 评论(0) 推荐(0)

上一页 1 2 3 4 5