上一页 1 2 3 4 5 6 7 8 9 ··· 55 下一页
摘要:转自:http://www.open-open.com/lib/view/open1370958898835.htmlMapReduce采用Master/Slave的架构,其架构图如下:它主要有以下4个部分组成:1)Client2)JobTrackerJobTracke负责资源监控和作业调度。Job... 阅读全文
posted @ 2014-07-24 11:01 弹着钢琴设计 阅读(144) 评论(0) 推荐(0) 编辑
摘要:谁在用 Hadoop这是个问题。在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢?首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎,以及Yahoo专门的广告分析系统。也许你会认为,... 阅读全文
posted @ 2014-07-24 09:32 弹着钢琴设计 阅读(133) 评论(0) 推荐(0) 编辑
摘要:淘宝在数据存储和处理领域在国内互联网公司中一直保持比较靠前的位置,而且由于电子商务领域独特的应用场景,淘宝在数据实时性和大规模计算及挖掘方面一直在国内保持着领先,因此积累了很多的实践的经验和产品。TimeTunnel基于Hbase打造的消息中间件,具有高可靠、消息顺序、事务等传统特性,还能按时间维度... 阅读全文
posted @ 2014-07-24 09:22 弹着钢琴设计 阅读(223) 评论(0) 推荐(0) 编辑
摘要:下面是Java线程系列博文的一个编目:Java线程:概念与原理Java线程:创建与启动Java线程:线程栈模型与线程的变量Java线程:线程状态的转换 Java线程:线程的同步与锁Java线程:线程的交互Java线程:线程的调度-休眠 Java线程:线程的调度-优先级Java线程:线程的调度-让步... 阅读全文
posted @ 2014-07-23 16:57 弹着钢琴设计 阅读(152) 评论(0) 推荐(0) 编辑
摘要:刚刚研究了一下线程池,如果有不足之处,请大家不吝赐教,大家共同学习、共同交流。在什么情况下使用线程池? 1.单个任务处理的时间比较短 2.将需处理的任务的数量大使用线程池的好处: 1.减少在创建和销毁线程上所花的时间以及系统资源的开销 2.如不使用线程池,有可能造成系统创建大量线程而导致消耗完系统内... 阅读全文
posted @ 2014-07-23 16:55 弹着钢琴设计 阅读(143) 评论(0) 推荐(0) 编辑
摘要:1.JobTracker能否决定给当前的TaskTracker节点分配一个Job的具体的哪一个任务?2.什么是map本地任务?3.nonRunningMapCache的作用是什么?4.从TaskTracker节点上分配挂载的本地任务时,如果以前发生过该TaskTracker节点执行某一Map任务失败... 阅读全文
posted @ 2014-07-23 16:54 弹着钢琴设计 阅读(200) 评论(0) 推荐(0) 编辑
摘要:Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新... 阅读全文
posted @ 2014-07-23 16:53 弹着钢琴设计 阅读(199) 评论(0) 推荐(0) 编辑
摘要:阅读本文思考:1.对磁盘IO了解多少2.为什么是磁盘IO是瓶颈,有没有自己的答案想了解磁盘io可以查看此帖:集群瓶颈:磁盘IO必读(磁盘IO:磁盘输出输出)集群的瓶颈提出多种看法,其中网络和磁盘io的争议比较大。这里需要说明的是网络是一种稀缺资源,而不是瓶颈。对于磁盘IO:当我们面临集群作战的时候,... 阅读全文
posted @ 2014-07-23 16:52 弹着钢琴设计 阅读(3104) 评论(0) 推荐(0) 编辑
摘要:转自:http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs 时候,就感觉到hdfs和mapreduce关系的紧密。这... 阅读全文
posted @ 2014-07-23 16:49 弹着钢琴设计 阅读(163) 评论(0) 推荐(0) 编辑
摘要:转自:http://blog.csdn.net/iamdll/article/details/20998035 分类: 分布式 2014-03-11 10:31 156人阅读 评论(0) 收藏 举报 目录(?)[+] Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解... 阅读全文
posted @ 2014-07-23 16:46 弹着钢琴设计 阅读(141) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 55 下一页