山上有风景

摘要： 一：什么是ZooKeeper Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 （一）原始架构 但是当服务器宕机，则应用全部瘫痪。无法做到高可用。应该使用集群实 阅读全文

摘要： 一：实验说明 用于统计各个单词在各个文件中出现的次数，并按序输出 （一）实验数据 a.txt hello kitty flink hello tom spark with hello mark spark hadoop hadoop hadoop b.txt hello tom tom hadoop 阅读全文

摘要： 一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce 阅读全文

摘要： 一：分组原理（HashPartitioner) /** Partition keys by their {@link Object#hashCode()}. */ @InterfaceAudience.Public @InterfaceStability.Stable public class Ha 阅读全文

摘要： 承接上文：Hadoop基础 流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 阅读全文

摘要： 一：测试数据 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1- 阅读全文

摘要： 补充：下载Hadoop源码 一：YARN框架：进行资源调度 （一）YARN框架流程图 注意：yarn框架只做资源的管理，如果要运行一个程序，则会为该程序分配节点、内存、cpu等资源，至于该程序如何运行，yarn框架不进行管理。故也不会知道mapreduce的运行逻辑 。同样因为这样的松耦合，yarn 阅读全文

摘要： 注：该文章承接上一篇：Hadoop基础 MapReduce实现 一：YARN框架：进行资源调度 （一）YARN框架流程图 注意：yarn框架只做资源的管理，如果要运行一个程序，则会为该程序分配节点、内存、cpu等资源，至于该程序如何运行，yarn框架不进行管理。故也不会知道mapreduce的运行逻 阅读全文

摘要： 一：MapReduce思想 （一）MapReduce解决的问题 1.如何实现将代码分发到集群中节点中，并且如何运行起来 2.将代码分发到哪些指定机器中运行 3.实时监控节点运行情况 4.结果如何汇总 总之：将我们简单的业务逻辑很方便的扩展到海量数据环境下的进行分布式运算 （二）MapReduce基本 阅读全文

摘要： 一：RPC框架封装思想 （一）实现原理 RPC（Remote Procedure Call）远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。 在OSI网络通信模型中，RPC跨越 阅读全文