博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  hadoop

MinIO对象存储

该文被密码保护。

posted @ 2021-12-19 14:56 天戈朱 阅读(0) 评论(0) 推荐(0)

Zookeeper中的角色

摘要：在zookeeper集群中，节点也有不同的角色，承担着不同角色。 zookeeper有三种角色： 老大：Leader (领导者） : 客户端提供读服务和写服务。 老二：Follower（跟随者） : 为客户端提供读服务，参与Leader选举过程 老三：Observer（观察者） : 为客户端提供读服 阅读全文

posted @ 2021-07-26 08:23 天戈朱 阅读(1516) 评论(0) 推荐(0)

hadoop(五): shell命令

摘要：hdfs dfs -cat URI : 查看文件内容 -ls <args>： 查文件列表 -mkdir <paths> ： 创建目录 The behavior is much like unix mkdir -p creating parent directories along the path 阅读全文

posted @ 2016-09-03 05:43 天戈朱 阅读(2457) 评论(0) 推荐(0)

hadoop(四):配置参数

摘要：hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x 阅读全文

posted @ 2016-08-23 05:13 天戈朱 阅读(2810) 评论(0) 推荐(0)

hadoop(三):hdfs 机架感知

摘要：client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 阅读全文

posted @ 2016-08-21 17:06 天戈朱 阅读(2668) 评论(0) 推荐(0)

hadoop(二):hdfs HA原理及安装

摘要：早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文

posted @ 2016-08-21 16:09 天戈朱 阅读(16628) 评论(2) 推荐(2)

hadoop(一):深度剖析hdfs原理

摘要：在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable，其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生， 阅读全文

posted @ 2016-08-21 11:13 天戈朱 阅读(6626) 评论(2) 推荐(4)