摘要:
内容简介 本篇文章主要讲述了Springboot项目和Spark相结合的方法。 在Spark的学习过程中,我们大多数提交作业的方式都是使用Spark的命令来提交jar包并运行,但是本次相反,我们将使用Springboot来开发Spark的相关计算任务代码,开发完成后将项目打包部署到服务器上,项目启动
阅读全文
posted @ 2022-12-20 22:34
吹静静
阅读(307)
推荐(0)
摘要:
public static void main(String[] args) { String SQL = "SELECT * FROM table"; Statement statement = SQLParserUtil.getStatement(SQL); SelectBody selectB
阅读全文
posted @ 2022-11-07 18:42
吹静静
阅读(538)
推荐(0)
摘要:
报错背景 Linux 环境,普通用户。 Flink任务提交到Yarn集群上执行,发现Yarn能够成功分配资源,但是任务始终处于ACCEPTE状态,不能执行,查看Yarn日志后发现几乎没有报错日志,任务等待一定时间之后直接退出,并没有报告明显错误。 报错现象 查看Yarn WEB界面:http://b
阅读全文
posted @ 2022-10-14 17:01
吹静静
阅读(2080)
推荐(0)
摘要:
报错背景 运行Flink jar包时出现报错。 报错现象 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/msun/software/flink-1.13.6/lib/log
阅读全文
posted @ 2022-08-02 17:52
吹静静
阅读(1837)
推荐(1)
摘要:
配置yum源 [root@ruozedata~]# cd /etc/yum.repos.d [root@ruozedata yum.repos.d]# vim yum.repo ##添加镜像文件 [ansible] name=ansible baseurl=http://mirror.tuna.ts
阅读全文
posted @ 2022-07-13 15:12
吹静静
阅读(47)
推荐(0)
摘要:
db.getCollection('表名').aggregate( {"$match":{ "某时间字段": {'$gte': ISODate("2022-05-01T00:00:00Z") ,'$lt':ISODate("2022-06-01T00:00:00Z")} }}, {"$group":
阅读全文
posted @ 2022-07-11 09:42
吹静静
阅读(198)
推荐(0)
摘要:
请求连接:http://127.0.0.1:9999/spark/mongo/t/test 请求参数:请求参数为map格式的K-V类型 startTime=2022-01-01%2014%3A30%3A19 endTime=2022-01-05%2015%3A00%3A19 完整命令: curl -
阅读全文
posted @ 2022-07-08 16:20
吹静静
阅读(51)
推荐(0)
摘要:
安装命令 docker pull mongo:4.4.14 docker run \ --name msun-mongo \ -v /home/hadoop/data/mongo:/data/db \ -e MONGO_INITDB_ROOT_USERNAME=root \ -e MONGO_INI
阅读全文
posted @ 2022-06-22 14:04
吹静静
阅读(45)
推荐(0)
摘要:
/** * @param str:原字符串 * @param keyword:字符 * @param before:在字符前需要插入的字段 */ public static String replacementInfo(String str, String keyword, String befor
阅读全文
posted @ 2022-06-20 10:56
吹静静
阅读(1974)
推荐(0)
摘要:
需要在pom文件中加一个插件,这样打出来的包就是瘦包。 注意:SpringBoot项目打出来的包入口类只有一个application的,没有main函数的入口类,包含main函数入口类的包也在targat目录下,后缀名为original的一个包,把后缀名去掉就可以正常使用了。 <plugin> <g
阅读全文
posted @ 2022-06-19 11:40
吹静静
阅读(255)
推荐(0)