清风小妖的天空521

摘要： 前面写了关于kafka和spark streaming的结合使用（https://www.cnblogs.com/qfxydtk/p/11662591.html），其具体使用用法其实来自于原文：http://spark.apache.org/docs/2.2.0/streaming-kafka-in 阅读全文

摘要： 先列参考文献： Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)：http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-inte 阅读全文

摘要： 一、背景 ibmmq是一种传统架构的mq产品，运行稳定，有其自身优点，但在高可用（HA）这一块需要使用公司根据自身需求选用高可用（HA）产品，但由于市面HA商业产品较贵，所以使用linux操作系统级的heartbeat产品是最廉价合适的。关于ibmmq网络共享存储的选用有很多，最贴近生产环境的是IS 阅读全文

摘要： 一、简介 来自官网介绍： 翻译：kafka，是一个分布式的流处理平台。LinkedIn公司开发。scala语言编写。 1、支持流处理的发布订阅模式，类似一个消息队列系统； 2、多备份存储，副本冗余机制，具备高容错性； 3、可以处理流。 二、使用 1、需要zk支持； 2、集群模式启动很简单，类似zk， 阅读全文

摘要： 一、介绍 一个分布式协调服务框架； 一个精简的文件系统，每个节点大小最好不大于1MB； 众多hadoop组件依赖于此，比如hdfs，kafka，hbase，storm等； 旨在，分布式应用中，提供一个可靠的、可拓展的、分布式的、可配置的协调机制来管理整个集群的状态； 主要角色有：leader、fol 阅读全文

摘要： 前面2篇文章知道了HDFS的存储原理，知道了上传和下载文件的过程，同样也知晓了MR任务的执行过程，以及部分代码也已经看到，那么下一步就是程序员最关注的关于MR的业务代码（这里不说太简单的）： 一、关于MapTask的排序 mapTask正常情况，按照key的hashcode进行从小到大的排序操作，形 阅读全文

摘要： 之前写的关于MR的文章的前半部分已丢。 所以下面重点从3个部分来谈MR： 1）Job任务执行过程，以及主要进程-ResourceManager和NodeManager作用； 2）shuffle过程； 3）主要代码； 一、Job任务执行过程 这里是hadoop2.0-ResourceManager的J 阅读全文

摘要： 一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i 阅读全文

摘要： 去面试时，hashmap总是被经常问的问题，下面总结了几道关于hashmap的问题。 1、hashmap的主要参数都有哪些？ 2、hashmap的数据结构是什么样子的？自己如何实现一个hashmap？ 3、hash计算规则是什么？ 4、说说hashmap的存取过程？ 5、说说hashmap如何处理碰 阅读全文

摘要： 两个判断的位置 第一个为了日后获取实例的线程准备 第二个为了刚刚获得锁的线程准备，如果没有这个，将会有同步问题。 输出结果： 阅读全文