摘要: 1. Kafka 概述 1.1什么是 Kafka Apache Kafka 是分布式发布-订阅消息系统(消息中间件)。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 简单说明什么是Ka 阅读全文
posted @ 2018-10-25 15:23 夕阳如火 阅读(3509) 评论(0) 推荐(0) 编辑
摘要: Spark Streaming实时数据流处理 一、Spark Streaming基础 1、Spark Streaming简介http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming是核心S 阅读全文
posted @ 2018-10-25 14:23 夕阳如火 阅读(930) 评论(0) 推荐(1) 编辑
摘要: Spark SQL 一、Spark SQL基础 1、Spark SQL简介 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。http://spark.apache.org/sql/ 为什么要学习Spark SQ 阅读全文
posted @ 2018-10-25 10:22 夕阳如火 阅读(73912) 评论(0) 推荐(2) 编辑