junneyang - 博客园

2016年9月9日

【Hadoop】Hadoop HA 部署详细过程（架构、机器规划、配置文件、部署步骤）

摘要： 1、概念、架构 2、配置文件示例、部署步骤阅读全文

posted @ 2016-09-09 11:43 junneyang 阅读(2229) 评论(0) 推荐(0)

【Zookeeper】Zookeeper部署笔记

摘要： Zookeeper部署笔记阅读全文

posted @ 2016-09-09 10:17 junneyang 阅读(286) 评论(0) 推荐(0)

【Hadoop】Hadoop HA机制要点

摘要： Hadoop HA 机制架构、要点、原理：需要的机器（规划）：至少三台机器阅读全文

posted @ 2016-09-09 10:15 junneyang 阅读(740) 评论(0) 推荐(0)

【Zookeeper】Zookeeper 和他的小伙伴们

摘要： ZK实际应用场景、实例：阅读全文

posted @ 2016-09-09 10:10 junneyang 阅读(179) 评论(0) 推荐(0)

2016年9月8日

【Zookeeper】分布式服务框架 Zookeeper -- 管理分布式环境中的数据

摘要： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Z 阅读全文

posted @ 2016-09-08 16:34 junneyang 阅读(280) 评论(0) 推荐(0)

【Consul】分布式环境中的服务注册和发现利器

摘要：参考资料： http://www.cnblogs.com/shanyou/p/4695131.html http://blog.csdn.net/viewcode/article/details/45915179 http://www.oschina.net/p/consul Zookeeper V 阅读全文

posted @ 2016-09-08 16:17 junneyang 阅读(787) 评论(0) 推荐(1)

【Hadoop】Hadoop MR Job工作流引擎

摘要： Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架（如图 1 所示）使用 Oozie 协调器促进了相互依赖的重复工作之间的协调，您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本阅读全文

posted @ 2016-09-08 10:50 junneyang 阅读(728) 评论(0) 推荐(0)

【Hadoop】Hadoop MR 如何实现倒排索引算法？

摘要： 1、概念、方案 2、代码示例 InverseIndexOne InverseIndexTwo 参考资料： How to check if processing the last item in an Iterator?：http://stackoverflow.com/questions/96339 阅读全文

posted @ 2016-09-08 10:28 junneyang 阅读(948) 评论(0) 推荐(0)

2016年9月7日

【Hadoop】三句话告诉你 mapreduce 中MAP进程的数量怎么控制？

摘要： 1、果断先上结论 1.如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件，依然想减少map个数，则需要将小文件merger为大文件，然后使用准则2。阅读全文

posted @ 2016-09-07 18:17 junneyang 阅读(11701) 评论(1) 推荐(3)

【Hadoop】MR 切片机制 & MR全流程

摘要： 1、概念 2、Split机制 3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程 5、MR全貌阅读全文

posted @ 2016-09-07 18:03 junneyang 阅读(4538) 评论(0) 推荐(1)

junneyang 的博客

公告