SpringCore - 博客园

2024年1月17日

摘要：本文基于Flink Java Demo 1.WebUI作业提交 2.命令行提交 1.将Maven打包后的jar包上传到集群节点[略] 2.提交作业 /usr/flink/flink-1.18.0/bin/flink run -m 192.168.58.130:8081 -c cn.coreqi.Wo 阅读全文

posted @ 2024-01-17 18:19 SpringCore 阅读(307) 评论(0) 推荐(0)

Flink 1.18 Standalone 会话模式集群搭建

摘要： Flink 在Standalone集群模式下不支持单作业模式部署，单作业模式需要借助资源管理平台。 1.Flink角色 Client：用于提交任务的客户端 JobManager：调度、分发任务的管理器 TaskManager：执行任务 2.集群规划节点服务器 Hadoop02(192.168.58 阅读全文

posted @ 2024-01-17 11:57 SpringCore 阅读(1032) 评论(0) 推荐(0)

2024年1月15日

SparkStreaming 连接 Kafka数据源

摘要：本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) 1.添加POM依赖 <dependency> <groupId 阅读全文

posted @ 2024-01-15 21:24 SpringCore 阅读(130) 评论(0) 推荐(0)

SparkStreaming 自定义数据采集器

摘要：本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming Custom Receivers 1.自定义数据采集器 package cn.coreqi.receiver; import org.apache.spark.storage.StorageLe 阅读全文

posted @ 2024-01-15 19:51 SpringCore 阅读(112) 评论(0) 推荐(0)

SparkStreaming in Java

摘要：参考地址：Spark Streaming Programming Guide 1.新建Maven项目,POM引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.13</artifact 阅读全文

posted @ 2024-01-15 19:37 SpringCore 阅读(66) 评论(0) 推荐(0)

Spark Thrift Server

摘要： Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务协议和接口同HiveServer2完全一致，无缝兼容HiveServer2 目的是取代HiveServer2，依旧可以和Hive的Metastore进行交互，获取Hive元数据部署Spark 阅读全文

posted @ 2024-01-15 13:08 SpringCore 阅读(1104) 评论(0) 推荐(0)

SparkSQL 操作Hive In Java

摘要：本文的前提条件: SparkSQL in Java 1.增加POM依赖 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</artifactId> <version>8.0.33</version> </d 阅读全文

posted @ 2024-01-15 12:21 SpringCore 阅读(206) 评论(0) 推荐(0)

SparkSQL 操作Hive

摘要： Spark中本身内置了Hive，但一般用于测试，生产环境中需要连接外置的Hive 1.将Hive的配置文件hive-site.xml拷贝到Spark的配置目录下 cp /usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml /usr/spark/spar 阅读全文

posted @ 2024-01-15 12:06 SpringCore 阅读(338) 评论(0) 推荐(0)

SparkSQL通过JDBC连接Mysql

摘要：本文的前提条件: SparkSQL in Java 参考地址：JDBC To Other Databases 1.POM添加Mysql JDBC驱动 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</ar 阅读全文

posted @ 2024-01-15 10:20 SpringCore 阅读(271) 评论(0) 推荐(0)

2024年1月14日

SparkSQL 自定义聚合函数[强类型] & DSL

摘要：本文的前提条件: SparkSQL in Java 参考地址：User Defined Aggregate Functions (UDAFs) 1.声明列实体类 package cn.coreqi.entity; import java.io.Serializable; public class U 阅读全文

posted @ 2024-01-14 21:52 SpringCore 阅读(93) 评论(0) 推荐(0)

Coreqi

公告