三秋叶

摘要： 1、kafka是什么？ 官方说明是： Kafka是一个分布式的基于 发布/订阅模式 的 消息队列 ，主要应用于大数据实时处理领域。 提到了两个概念： 发布/订阅模式 消息队列 下边来理解一下这两个名词。 2、消息队列（Message Queue） 2.1 什么是消息队列？ 两个单词简写一下就是MQ， 阅读全文

摘要： 1、集群规划 从官网下载jar包 http://kafka.apache.org/downloads.html，我选择的是 版本 规划一下集群环境先~ | hadoop102 | hadoop103 | hadoop104 | | | | | | zk | zk | zk | | kafka | k 阅读全文

摘要： 之前搭建好了Kafka的学习环境，了解了具体的配置文件内容，并且测试了生产者、消费者的控制台使用方式，也学习了基本的API。那么下一步，应该学习一下具体的内部流程~ 1、Kafka的工作流程 大致的工作流程图如下： 如图所示哈，整个工作环境包括：一个生产者（producer）,一个消费者组（含有三个 阅读全文

摘要： 1.Hive是个什么玩意? Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据（有规律的数据）文件映射为一张表，并提供类SQL查询功能。 一句话暴力总结：通过写SQL语句的方式，代替原来的写MapReduce程序。 下 阅读全文

摘要： Hive安装配置及基本操作 1. Hive安装及配置 (1). 上传文件到Hadoop102节点，解压到 (2). 修改/opt/module/hive/conf目录下的hive env.sh.template名称为hive env.sh (3). 配置hive env.sh文件 ​ (a). 配置 阅读全文

摘要： Hive的基本使用（一）——数据类型 1. Hive的基本数据类型 | Hive数据类型 | Java数据类型 | 长度 | 例子 | | | | | | | TINYINT | byte | 1byte有符号整数 | 20 | | SMALINT | short | 2byte有符号整数 | 20 阅读全文

摘要： zookeeper学习笔记（一）——概述 1. 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。zookeeper从设计模式的角度来理解：是一个基于观察者设计模式的分布式服务管理框架，她负责存储和观察大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态 阅读全文

摘要： 1. Docker是个什么玩意 说Docker是什么之前，先来看一看Docker为什么会出现。我们知道，在学习过程中我们需要频繁地安装配置一些软件，不管是在Windows下还是在Linux，这些东西的配置过程都是非常费时费力的，稍有不慎就得删了重来，换一台机器，还得重来一次，更讨厌的是经常出现一些环 阅读全文

摘要： Synchronized 与Lock的不同之处 1. 用法不一样。synchronized既可以加在方法上，也可以加载特定的代码块上，括号中表示需要锁的对象。而Lock需要显示地指定起始位置和终止位置。synchronzied是托管给jvm执行的，Lock锁定是通过代码实现的。 2. 在性能上来说， 阅读全文

摘要： 1. 概述 1）所谓HA（High Available），即高可用（7 24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS 的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 阅读全文