Spark - 随笔分类 - 绅士龙

Spark之RDD

摘要：Spark学习之路Spark之RDD 目录一、RDD的概述 1.1　什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、阅读全文

posted @ 2019-09-14 15:04 绅士龙阅读(316) 评论(0) 推荐(0)

Spark Streaming

摘要：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。概述 SparkStreaming简称DStream（离散流）流式处理：数据源源不断的产生并且不断的处理采样时间：每隔一段时间去拿一次数据 2.原理与架构 1.原理 2.sparkstreaming数阅读全文

posted @ 2019-07-10 14:07 绅士龙阅读(585) 评论(0) 推荐(0)

随笔分类 - Spark

公告