Egon林海峰老师

摘要： spark01 主 10.61.187.24 spark02 从 10.61.187.20 vip: 10.61.187.51 在spark01与spark02部署 yum -y install haproxy keepalived -y # yum源已配置过了，此处直接安装即可 在spark01与 阅读全文

摘要： 配置文件： 主：192.168.1.14keepalived.conf ! Configuration File for keepalived global_defs { script_user root enable_script_security } vrrp_script check_ngin 阅读全文

摘要： 本文参考:Redis Cluster集群的搭建与实践 redis最开始使用主从模式做集群，若master宕机需要手动切换slave为master；于是有了哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也有一个问题，就是不能动态扩充 阅读全文

摘要： 一、集群模式 1、单机模式 在zoo.cfg中只配置一个server.id就是单机模式了。 这种模式下，如果当前主机宕机，那么所有依赖于当前zookeeper服务工作的其他服务器都不能在进行正常工作，这种事件称为单节点故障。所以这种模式一般用在测试环境。 2、伪分布式 在zoo.cfg中配置多个se 阅读全文

摘要： 前言 完全分布式就是把Hadoop核心组件分开部署到不同的服务器节点上运行。 通常，建议HDFS和YARN以单独的用户身份运行。在大多数安装中，HDFS进程以“hdfs”执行。YARN通常使用“yarn”帐户。 hadoopHA集群的工作机制如下图： Hadoop HA集群总体上可以分为三部分：Na 阅读全文

摘要： hadoop原理分析：强烈推荐阅读：https://www.saoniuhuo.com/article/detail-1124.html hadoop集群 如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。 阅读全文

摘要： 一、准备 1.1 软件版本 Ubuntu 16.04.6 (ubuntu-16.04.6-server-amd64.iso) JDK 1.8 (jdk-8u201-linux-x64.tar.gz) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 2.1.0 (sp 阅读全文

摘要： 一 Spark与hadoop Hadoop有两个核心模块，分布式存储模块HDFS和分布式计算模块Mapreduce Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 Hadoop。 阅读全文

摘要： 一 前言 大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组 阅读全文

摘要： 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相 阅读全文