2017年7月27日
yarn架构——本质上是在做解耦 将资源分配和应用程序状态监控两个功能职责分离为RM和AM
摘要： Hadoop YARN架构解读 原Mapreduce架构 原理架构图如下： 图 1.Hadoop 原 MapReduce 架构 原 MapReduce 程序的流程：首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker需要 阅读全文
posted @ 2017-07-27 20:29 bonelee 阅读(702) 评论(0) 推荐(0)
HDFS 文件格式——SequenceFile RCFile
摘要：  HDFS块内行存储的例子  HDFS块内列存储的例子  HDFS块内RCFile方式存储的例子 阅读全文
posted @ 2017-07-27 12:13 bonelee 阅读(3772) 评论(0) 推荐(0)
mahout demo——本质上是基于Hadoop的分步式算法实现，比如多节点的数据合并，数据排序，网路通信的效率，节点宕机重算，数据分步式存储
摘要： 摘自：http://blog.fens.me/mahout-recommendation-api/ 测试程序：RecommenderTest.java 测试数据集：item.csv 测试程序：org.conan.mymahout.recommendation.job.RecommenderTest. 阅读全文
posted @ 2017-07-27 10:04 bonelee 阅读(253) 评论(1) 推荐(0)