CentOS7 系统通过yum安装软件包报：[Errno 256] No more mirrors to try. 最近通过yum下载一些包时提示：No more mirrors to try 原因：centos7 部分版本的镜像源已经取消，更换 yum 源即可从根本上解决问题 具体解决方法也参照了 Read More
posted @ 2024-10-12 17:57
MrSponge
Views(2319)
Comments(0)
Diggs(0)
源码地址（含完整笔记）：https://gitee.com/Mr-Sponge/spring-boot-study 主要学习以下内容： SpringBoot入门了解知识（比如：各个注解是什么意思，SpringBoot是如何封装数据到容器的，等等） 前后端是如何交互的 SpringBoot中的拦截器原 Read More
posted @ 2024-09-29 11:11
MrSponge
Views(62)
Comments(1)
Diggs(0)
源码地址（含完整笔记）：https://gitee.com/Mr-Sponge/spring-study 主要学习： 什么是IOC IOC 创建对象方式 Spring配置文件以及依赖注入 bean自动装配方式 Java的反射和动态代理 AOP Spring整合Mybatis 说实话，写的很烂。。。 Read More
posted @ 2024-09-29 10:39
MrSponge
Views(13)
Comments(0)
Diggs(0)
目录Mybatis简介MyBatis历史MyBatis特性MyBatis下载和其它持久化层技术对比搭建MyBatis开发环境创建maven工程创建MyBatis的核心配置文件创建mapper接口创建MyBatis的映射文件通过junit测试功能加入log4j日志功能核心配置文件详解默认的类型别名My Read More
posted @ 2024-09-29 10:26
MrSponge
Views(44)
Comments(0)
Diggs(0)
原文链接：https://cloud.tencent.com/developer/article/2167527 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：J Read More
posted @ 2024-08-16 15:17
MrSponge
Views(856)
Comments(0)
Diggs(0)
随着时间的推移，要装的东西越来越多，加上之前创建虚拟机的时候没有太过关注磁盘资源分配，导致资源利用率地下。今天就来实现下磁盘扩容 进行操作前请对相关重要数据进行备份或者拍张快照 处理 /sda3 空间不足问题 扩容前 可以看到这块磁盘的使用率已经达到 98% 了，现在就是要对这块磁盘进行扩容。 首先 Read More
posted @ 2024-08-07 11:23
MrSponge
Views(2216)
Comments(0)
Diggs(1)
Spark批处理小文件合并 /** * * @param sparkSession * @param absDir 要进行小文件合并的路径 * @param partitionSize 分块的大小（一般 128 ，即 128M ） * @param isDeleteBak 是否删除备份路径数据，1： Read More
posted @ 2024-07-23 15:47
MrSponge
Views(301)
Comments(0)
Diggs(0)
SQLAlchemy 2.0 版本检查 import sqlalchemy sqlalchemy.__version__ 建立连接-engine 任何 SQLAlchemy 应用程序的开始都是一个称为Engine的对象。此对象充当连接到特定数据库的中心源，既提供一个工厂，又提供一个称为 连接池 的存 Read More
posted @ 2024-07-19 14:42
MrSponge
Views(953)
Comments(0)
Diggs(0)
Spark算子是分为行动子算子和转换算子的，只有遇到行动算子，计算任务才会生成一个Job任务，当算子行动算子多起来，并且交织复杂的时候，Spark去追溯数据血缘就会比较耗时了，通常我们都会直接通过persist算子存储中间的计算结果，减少数据的重复计算。 // 存储中间计算结果，避免Spark重复计 Read More
posted @ 2024-07-17 10:59
MrSponge
Views(247)
Comments(0)
Diggs(0)
数据导入 导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了 6 种不同的导入方式(Broker、Stream、Insert、Multi、Routine、S3)。每种导入方式支持不同的 Read More
posted @ 2024-05-24 14:53
MrSponge
Views(2782)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号