摘要：
Hadoop1.0的局限-MapReduce •扩展性 –集群最大节点数–4000 –最大并发任务数–40000 （当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracker fail 的风险，这也是业界普遍总结出老 Hadoop 的 Map-Re 阅读全文
posted @ 2018-09-27 16:35
刚睡醒的猿
阅读(791)
评论(0)
推荐(1)
摘要：
传统hadoop MapReduce架构（老架构） 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路： 1.首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他 阅读全文
posted @ 2018-09-27 16:29
刚睡醒的猿
阅读(309)
评论(0)
推荐(0)
摘要：
创建目录，默认只有user这一层目录，所以应该新建一个当前登录用户的目录 hadoop fs -mkdir /user/hadoop 查看user下的文件信息 hadoop fs -ls /user 查看user下的文件信息（包括其子目录下的文件信息）(递归的) hadoop fs -lsr /us 阅读全文
posted @ 2018-09-27 14:28
刚睡醒的猿
阅读(253)
评论(0)
推荐(0)
摘要：
package cn.test.hdfs; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration 阅读全文
posted @ 2018-09-27 14:25
刚睡醒的猿
阅读(3295)
评论(0)
推荐(0)
摘要：
1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐 阅读全文
posted @ 2018-09-27 14:19
刚睡醒的猿
阅读(3380)
评论(0)
推荐(0)
摘要：
Hadoop版本演变 Apache Hadoop的四大分支构成了三个系列的Hadoop版本： 0.20.X系列 主要有两个特征：Append与Security 0.21.0/0.22.X系列 整个Hadoop项目被分割成三个独立的模块： 1.Common模块 2.HDFS模块 3.Mapreduce 阅读全文
posted @ 2018-09-27 14:14
刚睡醒的猿
阅读(905)
评论(0)
推荐(0)
浙公网安备 33010602011771号