业余砖家

摘要： 背景： 启动Flink的sql-client.sh，创建Kafka的source端表，然后查询Kafka的数据时报错。 报错信息： 2024-06-18 16:10:12 org.apache.flink.util.FlinkException: Global failure triggered b 阅读全文

摘要： Java代码 import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.VoidFunction; import org.apache.spark.streaming.api.java.JavaInput 阅读全文

摘要： 一、spark直接读取本地文件系统的文件（不推荐）file前缀地址“file:///”，例如：文件绝对路径为/data/20240606，那么文件名应该设置为：file:///data/20240606 说明： （1）本地文件系统地址的前缀是“file:///”后边也必须是全部的绝对路径，不能用相对 阅读全文

摘要： 问题 在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/local/spark/work/目录占用了很大空间，导致根目录/满了。 原因使用spark standalone模式执行任务，没提交一次任务，在每个节点work目录下都会生成一个文件夹，命名规则ap 阅读全文

摘要： package com.sgcc; import java.io.*; import java.text.DecimalFormat; import java.util.ArrayList; import java.util.List; import java.util.Random; public 阅读全文

摘要： 问题描述： 每次创建一个新的项目Maven都会失效，都要重新配置。 解决方法： 点击File—>New Projects Setup—>Settings for New Projects。 输入mvn，跟前面一样设置Maven home path、User setting file、Local re 阅读全文

摘要： 在shell脚本中，单引号(')和双引号(")都用于文本引用，但它们之间有一些区别： 双引号 [1] 当要引用一个变量的值时，一般推荐使用双引号。 [2] 使用双引号除了变量名前缀($)、后引符(`)和转义符(\)外，会使shell不再解释引号中其它所有的特殊字符。 [3] 用双引号时$仍被当成特殊 阅读全文

摘要： #!/bin/bash # 假设日期变量为yyyymmdd格式 date="20230101" # 使用date命令增加一天 next_date=$(date -d "$date + 1 day" +%Y%m%d) # 输出结果 echo $next_date 阅读全文

摘要： 访问Web UI页面的前提： 启动Spark安装目录下sbin/start-all.sh 。 jps可以看到Master和Worker。 1、Spark的Master页面 http://master:8080/ 2、Spark的Worker页面 http://master:8081/ 3、Spark 阅读全文

摘要： 问题描述：通过IDEA的maven打包含Spark的Jar包，上传到Linux服务器上执行时报错： Error: A JNI error has occurred, please check your installation and try againException in thread "ma 阅读全文