06 2021 档案

Spring初窥门径
摘要：模块组成 核心容器 ：核心容器提供 Spring 框架的基本功能。核心容器的主要组件是 BeanFactory，它是工厂模式的实现。 BeanFactory 使用 控制反转 （IOC） 模式将应用程序的配置和依赖性规范与实际的应用程序代码分开 Spring 上下文 ：Spring 上下文是一个配置文 阅读全文
posted @ 2021-06-16 11:15 肆玖爺 阅读(80) 评论(0) 推荐(0)
Socket中Connection Reset问题分析
摘要：现象描述 1、先后启动服务端和客户端，客户端正常执行完毕，服务端出现Connection Reset异常，错误定位在while ((bufferSize = is.read(bytes))!=-1) 2、服务端先后接收文件名和文件内容，文件内容无法接收到 服务端代码 import java.io.* 阅读全文
posted @ 2021-06-16 11:09 肆玖爺 阅读(2734) 评论(0) 推荐(0)
SimpleDateFormat中字符串常量生成问题
摘要：场景描述 在String练习中遇到以下问题，注释掉第一行输出true，加上第一行输出false，代码如下： SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); String s3 = new 阅读全文
posted @ 2021-06-16 10:55 肆玖爺 阅读(125) 评论(0) 推荐(0)
Java数字类型隐式转换
摘要：隐式转换关系 精度丢失 上图中虚线表示转换过程中存在精度丢失问题，因为与其它数据类型的十进制直接转换为二进制不同，float、double有其独特的数据结构，如下所示： |类型|符号位|指数|尾数|长度| |:-:|:-:|:-:|:-:|:-:|:-:| |float|1|8|23|32| |do 阅读全文
posted @ 2021-06-16 10:48 肆玖爺 阅读(319) 评论(0) 推荐(0)
读取parquet文件后和其它表join后回写问题
摘要：背景 需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下： 首次清洗历史所有数据 后续每次取增量数据和上次清洗结果做合并 问题 1、如何判断为首次任务，实现方案： 方案1:判断指定目录下是否存在数据文件 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗 2、增 阅读全文
posted @ 2021-06-08 18:44 肆玖爺 阅读(313) 评论(0) 推荐(0)
Mongodb内嵌文档索引创建问题
摘要：背景 需要创建数据全字段索引，因此把带检索数据列以内嵌文档的方式写入，在内嵌文档上加索引，加速查询 方案1：内嵌文档上加索引 数据存储格式如下： { "_id" : "AB16105869340072961", "info" : { "payment_bank_code" : "BRI", "ord 阅读全文
posted @ 2021-06-04 19:01 肆玖爺 阅读(892) 评论(0) 推荐(0)
Spark大数据量写入Mysql效率问题
摘要：背景 数据列不固定，每次全量覆盖数据到Mysql，涉及到数据表结构的变更，需要调整自动创建数据表结构 方案1：DataFrameWriter.jdbc 使用spark原生提供的DataFrameWriter.jdbc，参考代码如下： /** * 数据覆盖写入指定mysql表 * 批量读写参数设置参考 阅读全文
posted @ 2021-06-04 14:07 肆玖爺 阅读(3017) 评论(0) 推荐(0)