随笔分类 -  hdfs

HDFS 修改默认副本数
摘要：描述：将HDFS副本数修改为2第一步：将HDFS上已有文件副本数修改为2 第二步：修改dfs.replication值为2（页面上操作），然后重启HDFShdfs-site.xml文件： 第三步：修改副本数之后进行核对 第四步、手动创建一个文件，上传至HDFS，观察其副本数如果副本数还是3，首先确认 阅读全文
posted @ 2019-08-26 09:28 xiaolaotou 阅读(5922) 评论(0) 推荐(0)
HDFS中大数据常见运维指令总结
摘要：一、查看HDFS下的参数信息 二、hdfs与dfs结合使用的参数信息 其他一些操作命令 说明：仅记录用于学习的指令。 1、追加文件内容到hdfs文件系统中的文件 2、查看hadoop的Sequencefile文件内容 3、使用df命令查看可用空间 [root@master ~]# hdfs dfs 阅读全文
posted @ 2019-08-12 10:57 xiaolaotou 阅读(1491) 评论(0) 推荐(0)
二、集群配置SSH免密登录
摘要：一、以3个几点为例，分别为master、slave01、slave02 1、分别生成自己节点密钥对 master: 2、分别将slave01、slave02上的公钥发送到master上 [root@slave01 .ssh]# scp -r /root/.ssh/id_dsa.pub master: 阅读全文
posted @ 2019-03-29 17:29 xiaolaotou 阅读(399) 评论(0) 推荐(0)
三、hadoop、yarn安装配置
摘要：本文hadoop的安装版本为hadoop-2.6.5 一、安装JDK 1、下载java jdk1.8版本，放在/mnt/sata1目录下， 2、解压：tar -zxvf dk-8u111-linux-x64.tar.gz 3、vim /etc/profile 4、刷新配置 5、检测是否成功安装：ja 阅读全文
posted @ 2019-03-25 13:18 xiaolaotou 阅读(922) 评论(0) 推荐(0)
hadoop集群中zkfc的作用和工作过程
摘要：一、 简单了解NameNode的ZKFC机制 NameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制 一般导致NameNode切换的原因 ZKFC的作用是什么？如何判断一个NN是否健康 一般导致NameNode切换的原因 ZKFC的作用是什么？如何判断 阅读全文
posted @ 2019-03-07 14:55 xiaolaotou 阅读(5255) 评论(0) 推荐(2)
java操作HDFS相关demo（TDH，kerberos认证）
摘要：public class Test { private static Configuration conf; private static FileSystem fs; //开启kerberos认证 static { System.setProperty("java.security.krb5.co 阅读全文
posted @ 2019-03-06 15:55 xiaolaotou 阅读(2911) 评论(1) 推荐(0)
hadoop运行原理之shuffle
摘要：hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort phase所代表的就是shuff 阅读全文
posted @ 2019-03-06 11:09 xiaolaotou 阅读(720) 评论(0) 推荐(0)
MapReduce详解
摘要：一、MapReduce概念 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠且 阅读全文
posted @ 2019-03-05 11:24 xiaolaotou 阅读(1259) 评论(0) 推荐(0)
手动修复 under-replicated blocks in HDFS
摘要：解决方式步骤： 1、进入hdfs的pod kubectl get pod -o wide | grep hdfs kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash 2、获取票据 kinit -kt /etc/hdfs1/ 阅读全文
posted @ 2019-02-22 11:26 xiaolaotou 阅读(2745) 评论(0) 推荐(1)
hdfs读写删除过程解析
摘要：一、hdfs文件读取过程 hdfs有一个FileSystem实例，客户端通过调用这个实例的open()方法就可以打开系统中希望读取的文件，hdfs通过rpc协议调用Nadmenode获取block的位置信息，对于文件的每一块，Namenode会返回含有该block副本的Datanode的节点地址；客 阅读全文
posted @ 2019-02-21 17:55 xiaolaotou 阅读(2270) 评论(0) 推荐(0)