2021年4月20日
SparkStreaming 读取 Kafka中数据【SparkStreaming 2.3.1 + Kafka 0.11 Direct模式整合】
摘要： 1 package com.it.baizhan.scalacode.Streaming 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serializatio 阅读全文
posted @ 2021-04-20 15:01 大数据程序员 阅读(287) 评论(0) 推荐(0)
向 kafka 中生产数据
摘要： 1 package com.it.baizhan.scalacode.Streaming 2 3 import java.text.SimpleDateFormat 4 import java.util.{Date, Properties} 5 6 import org.apache.kafka.c 阅读全文
posted @ 2021-04-20 14:27 大数据程序员 阅读(526) 评论(0) 推荐(0)
利用redis 来维护消费者偏移量
摘要： 1 package com.it.baizhan.scalacode.Streaming 2 3 import java.util 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kafk 阅读全文
posted @ 2021-04-20 14:13 大数据程序员 阅读(350) 评论(0) 推荐(0)
DStream相关操作, DStream的Transformations转换算子和OutPut输出算子
摘要： 前言 DStream上的操作与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一些比较特殊的操作，如：updateStateByKey()、transform()以及各种Window相关的操作。 1. Transformat 阅读全文
posted @ 2021-04-20 09:50 大数据程序员 阅读(164) 评论(0) 推荐(0)
SparkStreaming--实时数据流处理
摘要： SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduc 阅读全文
posted @ 2021-04-20 09:17 大数据程序员 阅读(356) 评论(0) 推荐(0)