摘要：
什么是Stream Java8 API添加了一个新的抽象称为流Stream,可以以一种声明的方式处理数据，给我们操作集合(Collection)提供了极大的便利。 Stream将要处理的元素集合看作一种流，在流的过程中，借助Stream API对流中的元素进行操作，比如：筛选、排序、聚合等。 str 阅读全文
摘要：
什么是ElasticSearch ElasticSearch是一款非常强大的、基于Lucene的开源搜素及分析引擎;它是一个实时的分布式搜索分析引擎。 它通常被用作全文检索、结构化搜索、分析及这三个功能的组合。 除了搜索，Elastic Stack(ELK)还被广泛运用在大数据近实时分析领域，包括: 阅读全文
摘要：
重做日志redo log redo log是重做日志,为InnoDB存储引擎独有。它记录了数据页上的改动。当事务中修改了数据,将会备份存储。 当发生数据库服务器宕机或者脏页未写入磁盘,可以通过redo log恢复。 redo log用于配合MySQL的WAL机制。MySQL进行更新操作时,为了能够快 阅读全文
摘要：
什么是分布式锁？ 为了保证一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用Java并发处理相关的API(如ReentrantLock或Synchronized)进行互斥控制。在单机环境中，Java中提供了很多并发处理相关的API。 但是，随着业务发 阅读全文
摘要：
CPU指令与内核态、用户态 在操作系统中，CPU负责执行指令,这些指令有些来自应用程序，有些是来自底层系统。 有些指令是非常危险的，如清除内存，网络连接等等，如果错误调用的话有可能导致系统崩溃。 因而CPU将指令分为特权指令和非特权指令，对于某些特定的指令，只需要操作系统及其相关模块进行调用。 因而 阅读全文
摘要：
HashMap HashMap使用hash数组+单链表实现，数组中的每个元素都是链表，由Node内部类实现，当链表长度超过8时，转化为红黑树。 HashMap实现了Map接口，即允许放入key为null的元素，也允许插入value为null的元素；除该类未实现同步外，其余跟Hashtable大致相同 阅读全文
摘要：
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操 阅读全文
摘要：
分布式文件系统: 统一管理分布在集群上的文件系统 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点概念：文件切块， 阅读全文
摘要：
前几天生产的Redis突然挂掉了,之前都没有太注意过Redis那边的使用情况,这次Redis挂掉重启后，发现在那台服务器上，Redis占用了足足30G的运行内存,这才意识到Redis可能出现了一点问题，然后开始了错误排查过程。 错误排查 由于Redis是基于内存的数据库,所以当出现运行内存过大的情况 阅读全文
摘要：
Flume最早是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume特性 1.提供上下文路由特征 2.Flume的管道是基于事务，保证了数据在传送和接收时的一致性 3.Flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的 4.Flume可用将 阅读全文