文章分类 -  hadoop

hadoop 源码解析其二(reduce)
摘要：/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this 阅读全文
posted @ 2019-07-28 00:40 十七楼的羊 阅读(318) 评论(0) 推荐(0)
hadoop 源码解析其一(map 端)
摘要：public InputSplit[] getSplits(JobConf job, int numSplits) throws IOException { StopWatch sw = new StopWatch().start(); // 得到文件列表 输入源 FileStatus[] file 阅读全文
posted @ 2019-07-23 23:07 十七楼的羊 阅读(407) 评论(0) 推荐(0)
hadoop 的 map reduce实现(其一)
摘要：一,map 阶段: 1，切片是由输入格式化类来实现的，默认切片大小等于block size 2,一个切片(逻辑概念,一个map处理数据的大小)对应一个map, 所有的 map 执行完之后才执行 reduce 3,默认的情况下 一个 block对应一个map程序,也可以使用窗口机制(切片) 使得一个 阅读全文
posted @ 2019-07-09 00:11 十七楼的羊 阅读(182) 评论(0) 推荐(0)
hadoop hdfs 流程解析(其一):
摘要：一,namenode 介绍说明: 1,namenode 保存的是文件元数据(namenode进程维护者虚拟的目录树) 2,namenode 接受来自 datanode 的block 列表提交 3,namenode 完全基于内存存储(新建元数据等),namenode 是通过快照与log信息来实现恢复的 阅读全文
posted @ 2019-07-06 23:50 十七楼的羊 阅读(157) 评论(0) 推荐(0)
hadoop 集群部署与故障转移其一(hdfs HA与yarn HA)
摘要：<configuration> <!--其他用户使用hdfs 操作文件，是否进行验证！--> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.replicati 阅读全文
posted @ 2019-05-14 00:12 十七楼的羊 阅读(868) 评论(0) 推荐(0)
HDFS 以及常用shell 操作
摘要：HDFS 体系架构 1,HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。两者是通过rpc通信的 2,NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。 3,DataNode（数据节点）：系统中通常有多个，是... 阅读全文
posted @ 2019-02-20 01:05 十七楼的羊 阅读(2393) 评论(0) 推荐(0)
hadoop 安装步骤
摘要：192.168.33.101 server1 192.168.33.102 server2 192.168.33.103 server3 阅读全文
posted @ 2019-02-16 10:53 十七楼的羊 阅读(3675) 评论(0) 推荐(0)