12 2016 档案

Spark任务流程笔记
摘要：Spark学习笔记2——Spark RDD的依赖，DAG图，任务执行流程图 阅读全文
posted @ 2016-12-25 15:42 神话小小哥 阅读(291) 评论(0) 推荐(0)
Hadoop_FileInputFormat分片
摘要：Hadoop学习笔记总结系列5——获取分片信息介绍，以及为何Hadoop不适合处理小文件 阅读全文
posted @ 2016-12-10 11:55 神话小小哥 阅读(1775) 评论(0) 推荐(0)
Hadoop_MapReduce流程
摘要：Hadoop学习笔记总结系列4——MapReduce任务调度过程，以及分区、排序、规约、分组过程的总结。 阅读全文
posted @ 2016-12-07 23:46 神话小小哥 阅读(2763) 评论(0) 推荐(0)
Hadoop_YARN框架
摘要：Hadoop学习笔记总结系列3——YARN框架介绍，任务详细调度分配流程。 阅读全文
posted @ 2016-12-05 23:26 神话小小哥 阅读(9994) 评论(0) 推荐(0)
Hadoop_HDFS文件读写代码流程解析和副本存放机制
摘要：Hadoop学习笔记总结系列2——HDFS文件剖析文件读取和写入流程解析，源码分析；副本存放机制。 阅读全文
posted @ 2016-12-04 20:55 神话小小哥 阅读(2131) 评论(0) 推荐(0)