005 Hadoop - 随笔分类 - Riordon

摘要：http://www.cnblogs.com/foreach-break/p/notes_about_distributed_system_and_The_log.html 阅读全文

posted @ 2015-08-14 10:00 Riordon 阅读(240) 评论(0) 推荐(0)

摘要：http://my.oschina.net/muou/blog/408543http://www.cnblogs.com/huligong1234/p/4137133.html 阅读全文

posted @ 2015-08-07 20:40 Riordon 阅读(215) 评论(0) 推荐(0)

摘要：文章概览：1、MapReduce简介2、MapReduce有哪些角色？各自的作用是什么？3、MapReduce程序执行流程4、MapReduce工作原理5、MapReduce中Shuffle过程6、MapReduce编程主要组件7、针对MapReduce的缺点，YARN解决了什么？MapReduce... 阅读全文

posted @ 2015-06-28 02:03 Riordon 阅读(37125) 评论(1) 推荐(2)

HDFS工作原理浅析

摘要：问题导读：1、设计HDFS是为了解决什么问题？2、HDFS有哪些角色？各自的作用？3、HDFS的读写流程是怎样的？HDFS是一个分布式文件系统，主要用于海量数据的储存，并且稳定、可水平扩展。HDFS基本构架图：Namenode：负责管理元数据，包含文件目录、文件和block的对应关系，block和d... 阅读全文

posted @ 2015-06-26 23:36 Riordon 阅读(519) 评论(1) 推荐(1)

NameNode HA配置详解

摘要：http://blog.debugo.com/namenode-ha/ 阅读全文

posted @ 2015-04-17 14:34 Riordon 阅读(266) 评论(0) 推荐(0)

hadoop、hbase、hive、zookeeper版本对应关系

摘要：http://www.aboutyun.com/blog-61-62.html 阅读全文

posted @ 2015-04-16 10:17 Riordon 阅读(523) 评论(0) 推荐(0)

hadoop高可用集群搭建小结

摘要：hadoop高可用集群搭建小结1、Zookeeper集群搭建2、格式化Zookeeper集群（注：在Zookeeper集群建立hadoop-ha，amenode的元数据)3、开启Journalmnode集群（注：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行... 阅读全文

posted @ 2015-04-16 10:06 Riordon 阅读(435) 评论(0) 推荐(0)

【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】

摘要：http://blog.csdn.net/u010967382/article/details/30976935?utm_source=tuicool 阅读全文

posted @ 2015-04-15 16:34 Riordon 阅读(202) 评论(0) 推荐(0)

zookeeper学习资源

摘要：http://qindongliang.iteye.com/blog/1985661http://blog.fens.me/hadoop-zookeeper-case/ 阅读全文

posted @ 2015-04-14 17:37 Riordon 阅读(125) 评论(0) 推荐(0)

开源大数据（hadoop生态系统、流式处理系统等）处理工具汇总

摘要：http://www.aboutyun.com/thread-11944-1-1.htmlhttp://www.aboutyun.com/thread-11945-1-1.html 阅读全文

posted @ 2015-03-14 08:49 Riordon 阅读(360) 评论(0) 推荐(0)

windows下ant编译hadoop1.1.2 eclipse插件

摘要：http://www.dataguru.cn/forum.php?mod=viewthread&tid=158912 阅读全文

posted @ 2015-03-10 14:41 Riordon 阅读(134) 评论(0) 推荐(0)

Docker终极指南：为什么Docker能做这么多事

摘要：Docker终极指南：为什么Docker能做这么多事http://www.aboutyun.com/thread-11499-1-1.html 阅读全文

posted @ 2015-02-03 08:20 Riordon 阅读(169) 评论(0) 推荐(0)

分布式消息系统Kafka初步

摘要：分布式消息系统Kafka初步http://my.oschina.net/ielts0909/blog/92972 阅读全文

posted @ 2015-01-09 08:42 Riordon 阅读(133) 评论(0) 推荐(0)

hadoop生态圈安装详解（hadoop+zookeeper+hbase+pig+hive）

摘要：-------------------------------------------------------------------*目录 *I hadoop分布式安装 *II zookeeper... 阅读全文

posted @ 2014-10-31 08:29 Riordon 阅读(434) 评论(0) 推荐(0)

在eclipse上提交任务到集群执行

摘要：win7下eclipse远程开发hadoop程序，分为两种：（1）运行【Run As】 Java Application，打包程序为jar，上传集群执行（这里不做解释）（2）运行【Run As】 Run on Hadoop重点来说说Run on Hadoop这种方式,搭建好eclipse远... 阅读全文

posted @ 2014-10-25 11:16 Riordon 阅读(435) 评论(0) 推荐(0)

MapReduce编程小结

摘要：（1）key-value到map端比较容易，每个分片都会交由一个MapTask，而每个分片由InputFormat（一般是FileInputFormat）决定（一般是64M），每个MapTask会调用N次map函数，具体是多少次map函数呢？由job.setInputForm... 阅读全文

posted @ 2014-10-22 22:12 Riordon 阅读(293) 评论(0) 推荐(0)

hadoop jar xxxx.jar的流程

摘要：http://www.cppblog.com/mysileng/archive/2013/03/02/198176.html 阅读全文

posted @ 2014-10-16 12:58 Riordon 阅读(167) 评论(0) 推荐(0)

MapReduce详解

摘要：1、mapreduce之shufflehttp://blog.csdn.net/thomas0yang/article/details/85629102、彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题http://www.aboutyun.com/thread-707... 阅读全文

posted @ 2014-10-14 09:26 Riordon 阅读(188) 评论(0) 推荐(0)

Hadoop伪分布安装

摘要：1.1 设置ip地址执行命令 service network restart 验证 ifconfig1.2 关闭防火墙执行命令 service iptables stop 验证 service iptables status1.3 关闭防火墙的自动运行（永久关闭）执行命令 ... 阅读全文

posted @ 2014-10-08 22:19 Riordon 阅读(235) 评论(0) 推荐(0)

Hadoop学习资料收集

摘要：1、漫画HDFS工作原理 http://blog.csdn.net/netcoder/article/details/74427792、马哥教育http://mageedu.blog.51cto.com/3、细细品味Hadoophttp://www.cnblogs.com/xia520pi/cate... 阅读全文

posted @ 2014-09-28 12:59 Riordon 阅读(179) 评论(0) 推荐(0)

Riordon

随笔分类 - 005 Hadoop