背景 前段时间在做一个数据中台的项目,系统用到了不同数据库中的数据。自己又不想手写JDBC连接,既然我有这个需求,那功能应该有人实现了,于是开始了网上搜了,搜索后发现基本都是讲读写分离、主备切换的,后面也查略了Mybatis-plus的官网,里面有这个功能,但好像是我组件的版本之间不兼容,导致出现了 Read More
posted @ 2024-10-30 17:57 MrSponge Views(244) Comments(0) Diggs(0) Edit
CentOS7 系统通过yum安装软件包报:[Errno 256] No more mirrors to try. 最近通过yum下载一些包时提示:No more mirrors to try 原因:centos7 部分版本的镜像源已经取消,更换 yum 源即可从根本上解决问题 具体解决方法也参照了 Read More
posted @ 2024-10-12 17:57 MrSponge Views(535) Comments(0) Diggs(0) Edit
源码地址(含完整笔记):https://gitee.com/Mr-Sponge/spring-boot-study 主要学习以下内容: SpringBoot入门了解知识(比如:各个注解是什么意思,SpringBoot是如何封装数据到容器的,等等) 前后端是如何交互的 SpringBoot中的拦截器原 Read More
posted @ 2024-09-29 11:11 MrSponge Views(10) Comments(1) Diggs(0) Edit
源码地址(含完整笔记):https://gitee.com/Mr-Sponge/spring-study 主要学习: 什么是IOC IOC 创建对象方式 Spring配置文件以及依赖注入 bean自动装配方式 Java的反射和动态代理 AOP Spring整合Mybatis 说实话,写的很烂。。。 Read More
posted @ 2024-09-29 10:39 MrSponge Views(2) Comments(0) Diggs(0) Edit
目录Mybatis简介MyBatis历史MyBatis特性MyBatis下载和其它持久化层技术对比搭建MyBatis开发环境创建maven工程创建MyBatis的核心配置文件创建mapper接口创建MyBatis的映射文件通过junit测试功能加入log4j日志功能核心配置文件详解默认的类型别名My Read More
posted @ 2024-09-29 10:26 MrSponge Views(9) Comments(0) Diggs(0) Edit
原文链接:https://cloud.tencent.com/developer/article/2167527 【作者介绍】王磊,阿里云 MVP,华院计算技术总监。 著有:《图解 Spark 大数据快速分析实战》;《offer 来了:Java 面试核心知识点精讲(原理篇)》;《offer 来了:J Read More
posted @ 2024-08-16 15:17 MrSponge Views(110) Comments(0) Diggs(0) Edit
随着时间的推移,要装的东西越来越多,加上之前创建虚拟机的时候没有太过关注磁盘资源分配,导致资源利用率地下。今天就来实现下磁盘扩容 进行操作前请对相关重要数据进行备份或者拍张快照 处理 /sda3 空间不足问题 扩容前 可以看到这块磁盘的使用率已经达到 98% 了,现在就是要对这块磁盘进行扩容。 首先 Read More
posted @ 2024-08-07 11:23 MrSponge Views(782) Comments(0) Diggs(1) Edit
Spark批处理小文件合并 /** * * @param sparkSession * @param absDir 要进行小文件合并的路径 * @param partitionSize 分块的大小(一般 128 ,即 128M ) * @param isDeleteBak 是否删除备份路径数据,1: Read More
posted @ 2024-07-23 15:47 MrSponge Views(106) Comments(0) Diggs(0) Edit
SQLAlchemy 2.0 版本检查 import sqlalchemy sqlalchemy.__version__ 建立连接-engine 任何 SQLAlchemy 应用程序的开始都是一个称为Engine的对象。此对象充当连接到特定数据库的中心源,既提供一个工厂,又提供一个称为 连接池 的存 Read More
posted @ 2024-07-19 14:42 MrSponge Views(384) Comments(0) Diggs(0) Edit
Spark算子是分为行动子算子和转换算子的,只有遇到行动算子,计算任务才会生成一个Job任务,当算子行动算子多起来,并且交织复杂的时候,Spark去追溯数据血缘就会比较耗时了,通常我们都会直接通过persist算子存储中间的计算结果,减少数据的重复计算。 // 存储中间计算结果,避免Spark重复计 Read More
posted @ 2024-07-17 10:59 MrSponge Views(78) Comments(0) Diggs(0) Edit