随笔分类 -  Hadoop

Hadoop相关
【Hadoop】Hadoop概览
摘要：学习Hadoop之后，根据个人理解，给出Hadoop中比较重要的组件，及其之间的关联，若有理解不到位之处，后续改正。 Hadoop整体预览 重要组件及重要过程 1. HDFS a. HDFS : Hadoop Distributed File Systemb. HDFS用于Hadoop的分布式存储， 阅读全文
posted @ 2017-11-01 18:10 sqdmydxf 阅读(159) 评论(0) 推荐(0)
【Hadoop】完全分布式下Resourcemanager二次分发及Job提交到集群后状态的变化
摘要：用于查看Hadoop中完全分布式下Resourcemanager二次分发以及作业提交到集群后状态的变化。 IDE：eclipse 调试IDE所在操作系统：win10 Hadoop集群操作系统：Ubuntu16.04 Hadoop集群环境：完全分布式模式，版本为2.7.3 1. 两个概念 IPC : 阅读全文
posted @ 2017-10-31 19:59 sqdmydxf 阅读(649) 评论(0) 推荐(0)
【Hadoop】完全分布式集群下客户端提交作业分析
摘要：用于查看Hadoop中完全分布式下MapReduce中作业提交过程。 以下流程是根据Hadoop权威指南上的实现获取ncdc每年最高气温的代码进行调试，在Hadoop完全分布式模式中查看作业提交过程。 操作系统：Ubuntu16.04 IDE：eclipse Hadoop集群环境：完全分布式模式，版 阅读全文
posted @ 2017-10-31 19:40 sqdmydxf 阅读(1111) 评论(1) 推荐(1)
【Hadoop】本地模式MR过程分析
摘要：用于查看Hadoop中MapReduce的运行流程。 以下流程是根据Hadoop权威指南上的实现获取ncdc每年最高气温的代码进行调试，在Hadoop本地模式中查看其运行流程。 操作系统：Ubuntu16.04 IDE：eclipse Hadoop集群环境：本地模式，版本为2.7.3 一开始是通过i 阅读全文
posted @ 2017-10-31 16:36 sqdmydxf 阅读(1502) 评论(0) 推荐(0)
【HDFS】相关概念及常用命令
摘要：本文用于记录Hadoop中HDFS相关概念以及常用命令，以便日后查询。 概念之间无先后顺序，只是用于记录。 参考的Hadoop的版本是2.7.3 1. 角色 2. edit日志和fsimage文件融合 a. hadoop集群启动时融合 生成新的inprogress_edits日志文件，将旧的inpr 阅读全文
posted @ 2017-10-30 19:27 sqdmydxf 阅读(378) 评论(0) 推荐(0)