落樰兂痕

2021年9月10日

摘要： 15.1 修改hosts文件（并同步到所有节点）[root@nn01 local]# vim /etc/hosts192.168.0.10 nn01 192.168.0.11 node1192.168.0.12 node2192.168.0.21 node3192.168.0.22 nn02192. 阅读全文

posted @ 2021-09-10 18:27 落樰兂痕阅读(73) 评论(0) 推荐(0)

十四、hadoop高可用

摘要： 14.1为什么NameNode需要高可用–NameNode是HDFS 的核心配置，HDFS 又是Hadoop的核心组件，NameNode在Hadoop集群中至关重要，NameNode机器宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而NameNode的数据的更新又比较阅读全文

posted @ 2021-09-10 14:50 落樰兂痕阅读(193) 评论(0) 推荐(0)

2021年9月9日

四、kafka集群的安装配置

摘要： 4.1准备–kafka集群的安装配置是依赖zookeeper的，搭建kafka集群之前，首先请创建好一个可用zookeeper集群–安装openjdk运行环境–分发kafka拷贝到所有集群主机–修改配置文件–启动不验证4.2server.properties–broker.id–每台服务器的brok 阅读全文

posted @ 2021-09-09 17:42 落樰兂痕阅读(272) 评论(0) 推荐(0)

三、kafka集群简介

摘要： 3.1 kafka是什么?–Kafka是由LinkedIn开发的一个分布式的消息系统–kafka是使用Scala编写–kafka是一种消息中间件3.2 为什么要使用kafka–解耦、冗余、提高扩展性、缓冲–保证顺序，灵活，削峰填谷–异步通信3.3 kafka角色不集群结构–producer：生产者，阅读全文

posted @ 2021-09-09 16:59 落樰兂痕阅读(236) 评论(0) 推荐(0)

二、zookeeper集群安装

摘要： 2.1 ZK 集群的安装配置–配置文件改名zoo.cfgmvzoo_sample.cfg zoo.cfg–zoo.cfg 最后添加–server.1=node1:2888:3888–server.2=node2:2888:3888–server.3=node3:2888:3888–server.4= 阅读全文

posted @ 2021-09-09 16:42 落樰兂痕阅读(40) 评论(0) 推荐(0)

一、zookeeper概念

摘要： 1.1 zookeeper 是什么？–ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务1.2 ZooKeeper能干什么哪？–ZooKeeper是用来保证数据在集群间的事务性一致1.3 •zookeeper 应用场景–集群分布式锁–集群统一命名服务–分布式协调服务1.4 zooke 阅读全文

posted @ 2021-09-09 15:00 落樰兂痕阅读(51) 评论(0) 推荐(0)

2021年9月8日

十三、NFS网关配置

摘要： 13.1 启动一个新的系统，禁用selinux、禁用firewalld[root@ngsgw ~]# getenforce Disabled[root@ngsgw ~]# systemctl stop firewalld[root@ngsgw ~]# systemctl disable firewa 阅读全文

posted @ 2021-09-08 17:06 落樰兂痕阅读(147) 评论(0) 推荐(0)

十二、hdfs配置

摘要： 12.1 配置/etc/hosts，添加所有namenode和datanode的主机名不ip对应关系[root@nfsgw ~]# vim /etc/hosts192.168.0.10 nn01192.168.0.11 node1192.168.0.12 node2192.168.0.21 node 阅读全文

posted @ 2021-09-08 15:39 落樰兂痕阅读(185) 评论(0) 推荐(0)

2021年9月7日

十一、NFS网关的概念

摘要： 11.1 NFS网关用途–用户可以通过操作系统兼容的本地NFSv3客户端来阅览HDFS文件系统–用户可以从HDFS文件系统下载文档到本地文件系统–用户可以通过挂载点直接流化数据。支持文件附加，但是不支持随机写–NFS 网关支持NFSv3和允许HDFS 作为客户端文件系统的一部分被挂载11.2特性不注阅读全文

posted @ 2021-09-07 17:35 落樰兂痕阅读(163) 评论(0) 推荐(0)

十、yarn节点管理

摘要： Yarn的相关操作–由于在2.xhadoop引入了yarn框架，对于计算节点的操作已经变得非常简单–增加节点[root@node4 hadoop]# ./sbin/yarn-daemon.sh start nodemanager[root@nn01 hadoop]# ./bin/yarn node 阅读全文

posted @ 2021-09-07 16:59 落樰兂痕阅读(162) 评论(0) 推荐(0)

公告