SpringCore - 博客园

2024年1月14日

摘要：本文的前提条件: SparkSQL in Java 代码如下 1.自定义聚合函数 package cn.coreqi.udaf; import org.apache.spark.sql.Row; import org.apache.spark.sql.expressions.MutableAggre 阅读全文

posted @ 2024-01-14 15:34 SpringCore 阅读(6) 评论(0) 推荐(0) 编辑

SparkSQL 自定义标准函数

摘要：本文的前提条件: SparkSQL in Java 参考地址: Scalar User Defined Functions (UDFs) 完整代码 package cn.coreqi; import static org.apache.spark.sql.functions.udf; import 阅读全文

posted @ 2024-01-14 13:16 SpringCore 阅读(5) 评论(0) 推荐(0) 编辑

SparkSQL in Java

摘要：参考地址：Starting Point: SparkSession 1.新建Maven项目,POM引入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.13</art 阅读全文

posted @ 2024-01-14 13:14 SpringCore 阅读(26) 评论(0) 推荐(0) 编辑

2024年1月2日

Spark Yarn模式

摘要：独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。在国内工阅读全文

posted @ 2024-01-02 20:59 SpringCore 阅读(29) 评论(0) 推荐(0) 编辑

Spark 3.5.0 高可用部署

摘要： 1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.安装Zookeeper ZooKeeper 3.9.1 集群模式安装阅读全文

posted @ 2024-01-02 19:44 SpringCore 阅读(319) 评论(0) 推荐(0) 编辑

Zookeeper 客户端命令行语法

摘要： 1.连接节点 bin/zkCli.sh -server 192.168.58.131:2181 2.命令行语法命令基本语法功能描述 help 显示所有操作命令 ls path 使用ls命令来查看当前znode的子节点[可监听]-w 监听子节点变化-s 附加次级信息 create 普通创建-s 含阅读全文

posted @ 2024-01-02 13:59 SpringCore 阅读(5) 评论(0) 推荐(0) 编辑

尚硅谷-xsync集群分发脚本

摘要： 1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个阅读全文

posted @ 2024-01-02 13:31 SpringCore 阅读(50) 评论(0) 推荐(0) 编辑

Zookeeper集群一键启停脚本

摘要： 1.创建脚本 vi /usr/bin/zk #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in 192.168.58.130 192.168.58.131 1 阅读全文

posted @ 2024-01-02 10:34 SpringCore 阅读(73) 评论(0) 推荐(0) 编辑

2024年1月1日

ZooKeeper 3.9.1 集群模式安装

摘要：准备三台集群节点 1.下载ZooKeeper 3.9.1 https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz 2.安装JDK Linux 安装Openjdk 3.解压 mkdir / 阅读全文

posted @ 2024-01-01 20:12 SpringCore 阅读(178) 评论(0) 推荐(0) 编辑

Zookeeper 配置参数解读

摘要：配置文件位于Conf/zoo_sample.cfg，如果要生效的话需要重命名为zoo.cfg 1.tickTime tickTime=2000，通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒 2.initLimit initLimit=10,LF初始通信时限，Leader和Foll 阅读全文

posted @ 2024-01-01 18:27 SpringCore 阅读(25) 评论(0) 推荐(0) 编辑

Coreqi

公告