摘要：
spark最初的定位就是改进hadoop, 更快速的进行批处理. storm擅长的则是进行无状态的流计算(在无状态的流计算领域, 它的延迟是最小的), 而Flink则是storm的下一代解决方案(当然Flink的设计之初并不是改进storm), 能够进行高吞吐,低延迟(毫秒级)的有状态流计算. 阅读全文
posted @ 2019-07-11 14:26
深圳私塾
阅读(116)
评论(0)
推荐(0)
2019年7月11日
2019年6月24日
摘要：
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的； 大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上 阅读全文
posted @ 2019-06-24 17:36
深圳私塾
阅读(232)
评论(0)
推荐(0)
2019年6月12日
摘要：
一、简介 Flink 运行时架构主要包含几个部分：Client、JobManager(master节点)和TaskManger(slave节点)。 二、分工 Client：Flink 作业在哪台机器上面提交，那么当前机器称之为Client。用户开发的Program 代码，它会构建出DataFlow 阅读全文
posted @ 2019-06-12 17:37
深圳私塾
阅读(185)
评论(0)
推荐(0)
摘要：
一、整体架构 JStorm 的整体架构图如下： 其中 W 表示 worker，T 表示 task。 从图中我们可以看到 JStorm 在设计上将集群中的节点分为 nimbus 和 supervisor 两类。其中 nimbus 节点相当于整个集群的调度者，基于 ZK 对整个集群进行调度，superv 阅读全文
posted @ 2019-06-12 16:38
深圳私塾
阅读(280)
评论(0)
推荐(0)
2019年6月6日
摘要：
一、Redis持久化是如何工作的？ 什么是持久化？简单来讲就是将数据放到断电后数据不会丢失的设备中，也就是我们通常理解的硬盘上。 首先我们来看一下数据库在进行写操作时到底做了哪些事，主要有下面五个过程： 客户端向服务端发送写操作（数据在客户端的内存中）。 数据库服务端接收到写请求的数据（数据在服务端 阅读全文
posted @ 2019-06-06 13:39
深圳私塾
阅读(125)
评论(0)
推荐(0)
2019年5月30日
摘要：
socket和http的区别：Http协议：简单的对象访问协议，对应于应用层。Http协议是基于TCP链接的。tcp协议：对应于传输层ip协议：对应与网络层TCP/IP是传输层协议，主要解决数据如何在网络中传输；而Http是应用层协议，主要解决如何包装数据。 Socket是对TCP/IP协议的封装， 阅读全文
posted @ 2019-05-30 11:42
深圳私塾
阅读(169)
评论(0)
推荐(0)
2019年5月9日
摘要：
一、JVM内存管理 看图： 二、 五大内存区域 1 程序计数器 程序计数器是一块很小的内存空间，它是线程私有的，可以认作为当前线程的行号指示器。 2 Java栈（虚拟机栈） 同计数器也为线程私有，生命周期与相同，就是我们平时说的栈，栈描述的是Java方法执行的内存模型。 每个方法被执行的时候都会创建 阅读全文
posted @ 2019-05-09 14:27
深圳私塾
阅读(292)
评论(0)
推荐(0)
2019年5月8日
摘要：
五种I/O模型： 1)阻塞I/O 2)非阻塞I/O 3)I/O复用(select和poll) 4)信号驱动I/O（SIGIO） 5)异步I/O 前四中是同步，最后一种是异步。 阻塞I/O模型： 简介：进程会一直阻塞，直到数据拷贝完成 应用程序调用一个I/O函数，导致应用程序阻塞，等待数据准备好，如果 阅读全文
posted @ 2019-05-08 15:05
深圳私塾
阅读(142)
评论(0)
推荐(0)
摘要：
一、redis单线程问题 单线程指的是网络请求模块使用了一个线程（所以不需考虑并发安全性），即一个线程处理所有网络请求，其他模块仍用了多个线程； 二、Redis关于线程安全问题 redis实际上是采用了线程封闭的观念，把任务封闭在一个线程，自然避免了线程安全问题，不过对于需要依赖多个redis操作的 阅读全文
posted @ 2019-05-08 14:28
深圳私塾
阅读(102)
评论(0)
推荐(0)
2019年4月28日
摘要：
一、分布式文件系统(HDFS）与linux系统文件系统关系 HDFS基于操作系统的文件系统； 假设有一个1G的大文件，在linux文件系统上就是一个文件，由1G/512b的block组成；在HDFS上需要1024MB/64MB=16块，即16个linux文件组成，所以相当于一个普通1G的文件分成了1 阅读全文
posted @ 2019-04-28 11:55
深圳私塾
阅读(121)
评论(0)
推荐(0)
浙公网安备 33010602011771号