水木青楓 - 博客园

2020年8月18日

摘要：为节省篇幅，将SecondaryNameNode简称SNN，NameNode简称NN。 #NN与fsimage、edits文件 NN负责管理HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。客户端执行读写操作前，先从NN获得元数据。当NN在运行时，元数据阅读全文

posted @ 2020-08-18 16:22 水木青楓阅读(1613) 评论(0) 推荐(0)

自己搭建的集群，启动hadoop时slave节点的datanode没有启起来怎么办？

摘要：自己搭建的集群，启动hadoop 集群是，发现slave节点的datanode没有启动，查了资料发现是因为我在启动集群前，执行了这个命令： hadoop namenode -format 这个指令会重新格式化namenode的信息,这样可能会导致master节点的VERSION信息跟datanode 阅读全文

posted @ 2020-08-18 12:42 水木青楓阅读(4034) 评论(1) 推荐(1)

2020年8月17日

Hadoop 3.x 与Hadoop 2.x 的区别和优化点

摘要： Hadoop 3.x 与Hadoop 2.x 的区别和优化点 #通用性 1.精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org. 阅读全文

posted @ 2020-08-17 23:07 水木青楓阅读(6893) 评论(0) 推荐(2)

分布式一致性算法 Paxos、Raft、Zab的区别与联系

摘要：什么是分布式系统？拿一个最简单的例子，就比如说我们的图书管理系统。之前的系统包含了所有的功能，比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。后来随着功能的增多，用户量也越来越大。集中式系统维护太麻烦，拓展性也不好。于是就考虑着把这些功能分开。通俗的理解阅读全文

posted @ 2020-08-17 22:38 水木青楓阅读(7232) 评论(0) 推荐(0)

MapReduce 的 shuffle 过程中经历了几次 sort ？

摘要： MapReduce过程中的shuffle，进行了3次排序，一次快排，两次归并排序。阅读全文

posted @ 2020-08-17 16:42 水木青楓阅读(2460) 评论(0) 推荐(0)

Hive SQL 优化面试题整理

摘要： hive很简单，有sql基础很容易上手阅读全文

posted @ 2020-08-17 16:19 水木青楓阅读(4278) 评论(0) 推荐(0)

Hive 常见面试题(一)

摘要： ##面试题： hive 内部表和外部表的区别？ hive 是如何实现分区的？ Hive 有哪些方式保存元数据，各有哪些优缺点？ hive中order by、distribute by、sort by和cluster by的区别和联系 hive 中的压缩格式 RCFile、 TextFile、 Seq 阅读全文

posted @ 2020-08-17 02:36 水木青楓阅读(9357) 评论(0) 推荐(1)

什么是云原生应用？

摘要：什么是云原生应用？原文：《一顿操作猛如虎！云原生应用为何如此优秀？》 https://blog.csdn.net/csdnnews/article/details/90168599 #从Function到Service 一、从函数说起我是1993年学习电脑的。学习的开发语言有三种：汇编、C、Db 阅读全文

posted @ 2020-08-17 02:35 水木青楓阅读(830) 评论(0) 推荐(0)

docker-compose 官网下载特别慢怎么办？

摘要： docker compose 官放推荐的下载方式是这样的: sudo curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr 阅读全文

posted @ 2020-08-17 00:04 水木青楓阅读(3229) 评论(0) 推荐(4)

2020年8月16日

Docker 自定义网络

摘要：不使用Docker0，如何实现Docker 自定义网络？为什么要自定义网路？ Docker 不同容器之间通过Docker0相互通信，Docker0 相当于一个路由，不容容器之间的通信请求，通过Docker0 转发，从而实现通信。这样就会有一个问题，我有一个微服务A，一个微服务B，都需要联网，但是阅读全文

posted @ 2020-08-16 16:34 水木青楓阅读(754) 评论(0) 推荐(1)

行勝於言

行勝於言desc

公告