摘要：
Hadoop 2.6.1 集群配置教程，主要用于自己备忘 阅读全文
posted @ 2020-08-21 03:07
水木青楓
阅读(257)
评论(0)
推荐(0)
摘要：
awk 是shell 里的常用命令，非常强大！ 阅读全文
posted @ 2020-08-20 23:26
水木青楓
阅读(116)
评论(0)
推荐(0)
摘要：
sed 在shell 编程里也很常用，功能强大！ 同grep一样，sed提供两种方式： 方式一：stdout | sed [option] “pattern command” 从文本中直接使用pattern匹配搜索。 方式二：sed [option] “pattern command” file 从 阅读全文
posted @ 2020-08-20 23:22
水木青楓
阅读(113)
评论(0)
推荐(0)
摘要：
grep 的全称是 Globally search a Regular Expression and Print，是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行 我们程序员最常用的是查找指定的线程： 去查找指定的进程：ps -ef | grep *** g 阅读全文
posted @ 2020-08-20 23:21
水木青楓
阅读(123)
评论(0)
推荐(0)
摘要：
为什么用Bulk load? 批量加载数据到HBase集群，有很多种方式，比如利用 HBase API 进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等等，但是这些方法都有一个问题：导入数据的过程如果数据量过大，可能耗时会比较严重或者占用HBase集群资 阅读全文
posted @ 2020-08-19 15:44
水木青楓
阅读(743)
评论(0)
推荐(0)
摘要：
为节省篇幅，将SecondaryNameNode简称SNN，NameNode简称NN。 #NN与fsimage、edits文件 NN负责管理HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。客户端执行读写操作前，先从NN获得元数据。当NN在运行时，元数据 阅读全文
posted @ 2020-08-18 16:22
水木青楓
阅读(1619)
评论(0)
推荐(0)
摘要：
自己搭建的集群，启动hadoop 集群是，发现slave节点的datanode没有启动，查了资料发现是因为我在启动集群前，执行了这个命令： hadoop namenode -format 这个指令会重新格式化namenode的信息,这样可能会导致master节点的VERSION信息跟datanode 阅读全文
posted @ 2020-08-18 12:42
水木青楓
阅读(4057)
评论(1)
推荐(1)
摘要：
Hadoop 3.x 与Hadoop 2.x 的区别和优化点 #通用性 1.精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org. 阅读全文
posted @ 2020-08-17 23:07
水木青楓
阅读(6915)
评论(0)
推荐(2)
摘要：
什么是分布式系统？ 拿一个最简单的例子，就比如说我们的图书管理系统。之前的系统包含了所有的功能，比如用户注册登录、管理员功能、图书借阅管理等。这叫做集中式系统。也就是一个人干了好几件事。 后来随着功能的增多，用户量也越来越大。集中式系统维护太麻烦，拓展性也不好。于是就考虑着把这些功能分开。通俗的理解 阅读全文
posted @ 2020-08-17 22:38
水木青楓
阅读(7260)
评论(0)
推荐(0)
摘要：
MapReduce过程中的shuffle，进行了3次排序，一次快排，两次归并排序。 阅读全文
posted @ 2020-08-17 16:42
水木青楓
阅读(2473)
评论(0)
推荐(0)
浙公网安备 33010602011771号