牧童的思恋

博客园 首页 新随笔 联系 订阅 管理

2019年4月30日 #

摘要: 在大数据的各种框架中,hadoop无疑是大数据的主流,但是随着电商企业的发展,hadoop只适用于一些离线数据的处理,无法应对一些实时数据的处理分析,我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架,比如Storm,Spark Streaming,Samaz等框架,本文主要讲解Sp 阅读全文
posted @ 2019-04-30 16:31 牧童的思恋 阅读(447) 评论(0) 推荐(0) 编辑

摘要: 写在前面 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 一、概述 Spark Streaming顾名思义是spark的流式处理框架,是面向海量数据实现高吞吐量、高可用的分布式 阅读全文
posted @ 2019-04-30 16:31 牧童的思恋 阅读(362) 评论(0) 推荐(0) 编辑