随笔分类 - 大数据测试
大数据概述之kafka
摘要:1、kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理。 还有哪些模式的消息队列?--点对点模式 2、kafka也是处于消息传输中间流程组件。主要用于处理两个系统之间的消息传递。 3、消息队列。为什么要引入消息队列? 同步处理:即发出消息,用
阅读全文
大数据概述之flume
摘要:一、flume 1、大数据三个概念:数据的传输、存储和计算。 2、数据的传输--flume 3、大数据集群和后台服务器集群通常要分开,因为后台服务器的服务非常多,也需要占用很高的计算资源,所以一般后台计算服务器和大数据集群是分开的。因此需要后台服务器产生的海量数据传输至大数据集群,目前最常用的大数据
阅读全文
浙公网安备 33010602011771号