我就想写写试试看

摘要： 最近结束实习开始准备春招，我自己计划了一些复习的内容，这边主要是java的基础的一些问题。 1、jdk、jre、jvm的意思和关系 jvm：java virtual machine，java虚拟机，相当于小型的计算机，可以实现运算、存储、处理、最终实现java的跨平台性 jre：java runti 阅读全文

摘要： 手上有一些资料整理了不少关于大数据组件的问题，我想通过在查找这些问题的答案的过程中对这些组件有跟进一步的了解。 一、zookeeper 1、简述zookeeper的选举机制 ①全新的集群选举：总的有5台机器，serverId分别是1、2、3、4、5. （1）1机器启动，他投票给自己，但是由于票数没有 阅读全文

摘要： 今天不知道写什么好，想了一下，Hive和ElastICSearch都有一点了解，但是对于这两个没什么好记录的。因为Hive的一些问题会在后面有大数据相关问题和答案的总结，到时候会直接落实到面试笔试中的问题，更加直接。ES如果说概念上的话主要是倒排索引和各个类型与数据库的对应类型。所以想了想还是写一下 阅读全文

摘要： Kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量数据，使得一个消息可以从一个端点传递到另一个端点。Kafka非常适合离线和在线消息消费。Kafka将数据保存在磁盘上，并在集群内复制以防止数据丢失。Kafka构建在zookeeper的同步服务之上，它和storm和spark很好地 阅读全文

摘要： Flume是Couldera提供的一个高可用的，高可靠性的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flu 阅读全文

摘要： 刚刚了解了分布式应用程序的协调服务zookeeper，我们现在来了解一下工作流任务调度系统，就是作业协调的工具。主要了解两个主要产品oozie和azkaban。 一、Oozie 1、oozie本质就是一个作业协调的工具（底层原理是通过将xml语言转化成MapReduce程序来做，但只是集中在map端 阅读全文

摘要： 之前在HBase中涉及到了zookeeper，今天就简单了解一下zookeeper的一些功能和基础的工作原理。 一、zookeeper是一个分布式的、开源的分布式应用程序协调服务，用于管理大型主机。现在zookeeper成为了hadoop和HBase和其他分布式框架使用的有组织服务的标准。例如，HB 阅读全文

摘要： 不知道为啥不是很想学习MapReduce方面的知识，不过现在这么想可能过段时间还是免不了去学，这边先记录下一个MapReduce的实例wordcount代码。 1、 pom.xml： 6、结果查询：hadoop fs -cat /mapreduce/wordcount/output/part-r-0 阅读全文

摘要： 在hadoop中有三大核心组件，hdfs，yarn，mapreduce，在之前已经整理过hdfs基础的一些东西，今天来了解一下yarn中的主要角色以及它的作用，然后熟悉当客户端提交一个job到yarn上，yarn是如何去执行这个job。yarn（Yet Another Resource Negoti 阅读全文

摘要： 这次的记录中用到的图片都是来自公众号iteblog_hadoop的一篇《HBase基础知识及典型案例分析》，其实公众号上说他的图片也是从中国HBase社区里拿到的，可是我并没有发现。我也是通过这篇文章还有自己手头上的一些培训资料进行学习的，如果有想学习的可以直接看他的原文章，一下是我看完之后的一些总 阅读全文