开发复盘1
历史体征数据导入,组织数据,同步健康档案
- 解析excel文件,解析过滤数据,落库,同步
- easyexcel对应表头,映射字段,解析数据
- 百万级别数据 过滤数据,校验查询,先分组;校验时分批、并发校验,CompletableFuture线程池分批并发异步调用
- CompletableFuture使用详解(全网看这一篇就行)_supplyasync-CSDN博客



2. 查询落库数据,调用健康档案接口,同步导入体征数据
- 查询数据百万级别数据 先查询总记录数量,分小批次,根据页码分页查询小批次,调用接口同步数据
- 接口调用,异常重试验证



limit 0,1 --从第一条数据开始查,查询第一条
limit 2,1 --从第三条数据开始查,查询第一条
limit 1 offset 2 --去除前两条,从第三条数据开始查询,取第一条
一体机体征数据,监听同步落库,数据同步传输健康档案
Canal 配置 RocketMQ 监听消息,实现数据同步
- 配置canal的mq,rocketMQ监听相关语句日志,根据枚举监控的表名和数据库操作,进行业务处理
- 监控的各个表,注册成对应表Bean处理;
- 通过枚举属性:表名、映射类、对应注册Bean,集成操作接口,实现自己的表业务逻辑
- 在监控表枚举中,根据消息获取的表名匹配枚举实体,映射注册Bean名称,传入实体 实现相关业务接口








浙公网安备 33010602011771号