摘要: 1. TCP Source import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.streaming.{Seco 阅读全文
posted @ 2022-08-08 19:57 学而不思则罔! 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 1. Spark Streaming 是什么 ? Spark Streaming 是 Spark Core 的扩展API 用来支持 高吞吐、高容错的 处理 流式数据 数据源可以是 : Kafka、TCP sockets、Flume、Twitter等流式数据源 处理数据: 可以用 Spark Core 阅读全文
posted @ 2022-08-08 19:48 学而不思则罔! 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 1. 直接 继承 object GetCustomHandler extends ResultSetHandler[Int] { override def handle(rs: ResultSet): Int = { var cnt = 0 while (rs.next()) { cnt += 1 阅读全文
posted @ 2022-08-08 17:05 学而不思则罔! 阅读(160) 评论(0) 推荐(0) 编辑