摘要:Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的,用以改善MapReduce的表现。但是它也足够胜任其它的分布式计算框架。 YARN提供了一些能被请求调用的APIs,并处理集群资源。但是通常 阅读全文
posted @ 2018-11-08 13:20 单行线的旋律 阅读 (22) 评论 (0) 编辑
摘要:数据流 读取文件数据的剖析 为了知道客户端与HDFS,NameNode,DataNode交互过程中数据的流向,请看图3 2,这张图显示了读取文件过程中主要的事件顺序。 客户端通过调用FileSystem对象的open()方法打开一个希望从中读取数据的文件,对于HDFS来说,FileSystem是一个 阅读全文
posted @ 2018-11-08 13:13 单行线的旋律 阅读 (16) 评论 (0) 编辑
摘要:当数据量增大到超出了单个物理计算机存储容量时,有必要把它分开存储在多个不同的计算机中。那些管理存储在多个网络互连的计算机中的文件系统被称为“分布式文件系统”。由于这些计算机是基于网络连接的,所以网络编程的那些复杂性都会涉及,这也造成了分布式文件系统比一般的磁盘存储文件系统更复杂。例如,其中最大的一个 阅读全文
posted @ 2018-11-08 13:12 单行线的旋律 阅读 (30) 评论 (0) 编辑
摘要:MapReduce是一个数据处理的编程模型。这个模型很简单,但也不是简单到不能够支持一些有用的语言。Hadoop能够运行以多种语言写成的MapReduce程序。在这一章中,我们将看看怎样用Java,Ruby,Python语言来写同一个例子。更重要的是,MapReduce程序天生并发运行,这就相当于把 阅读全文
posted @ 2018-11-08 13:11 单行线的旋律 阅读 (36) 评论 (0) 编辑
摘要:题目 有一栋楼共N层,一个鸡蛋从第M层及以上的楼层落下来会摔破, 在第M层以下的楼层落下不会摔破。给你Q个鸡蛋,设计方案找出M,并且保证在最坏情况下, 最小化鸡蛋下落的次数。 这道题目经常在面试中问到,很多博客也给出了答案,但总感觉不全面,没有讲透彻,依据前人经验和自己的理解,从思路和实现两个方面进 阅读全文
posted @ 2018-11-08 10:04 单行线的旋律 阅读 (562) 评论 (2) 编辑