Egon林海峰老师

摘要： 场景：使用structured streaming消费kafka中数据写入hdfs中说明：集群有两个namenode，分别为node1,node2。起初node1状态为active，在程序中涉及hdfs路径的地方，写的是hdfs://node1:8020/your path。后来集群中node1为s 阅读全文

摘要： HDFS Namenode 高可用在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 阅读全文

摘要： 服务注册到节点后，其他节点为什么没有同步？ Client是干什么的？（Client有什么作用？） 能不能直接注册到Server？（是否只有Server节点就够了？） 服务信息是保存在哪里的？ 如果节点挂了健康检查能不能转移到别的节点？ 关于服务注册和发现还没有概念，consul与zookeeper， 阅读全文

摘要： # 配置透明代理，支持http与https node1 eth0 内网10.37.129.5 node2 eth1 内网10.37.129.3 eth0 外网10.211.55.19 # 1、在node1 route add default gw 10.37.129.3 dev eth0 # 2、在 阅读全文

摘要： 一、Linux包过滤防火墙1、Linux防火墙概述信息包过滤系统，它实际上由两个组件netfilter和iptables组成主要工作在网络层，针对IP数据包。体现在对包内的IP地址、端口等信息的处理上 2、netfilter属于“内核态”(Kernel Space， 又称为内核空间)的防火墙功能体系 阅读全文

摘要： spark01 主 10.61.187.24 spark02 从 10.61.187.20 vip: 10.61.187.51 在spark01与spark02部署 yum -y install haproxy keepalived -y # yum源已配置过了，此处直接安装即可 在spark01与 阅读全文

摘要： 配置文件： 主：192.168.1.14keepalived.conf ! Configuration File for keepalived global_defs { script_user root enable_script_security } vrrp_script check_ngin 阅读全文

摘要： 本文参考:Redis Cluster集群的搭建与实践 redis最开始使用主从模式做集群，若master宕机需要手动切换slave为master；于是有了哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也有一个问题，就是不能动态扩充 阅读全文

摘要： 一、集群模式 1、单机模式 在zoo.cfg中只配置一个server.id就是单机模式了。 这种模式下，如果当前主机宕机，那么所有依赖于当前zookeeper服务工作的其他服务器都不能在进行正常工作，这种事件称为单节点故障。所以这种模式一般用在测试环境。 2、伪分布式 在zoo.cfg中配置多个se 阅读全文

摘要： 前言 完全分布式就是把Hadoop核心组件分开部署到不同的服务器节点上运行。 通常，建议HDFS和YARN以单独的用户身份运行。在大多数安装中，HDFS进程以“hdfs”执行。YARN通常使用“yarn”帐户。 hadoopHA集群的工作机制如下图： Hadoop HA集群总体上可以分为三部分：Na 阅读全文