摘要：
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chunjun的官网文档对增量同步已经做出了一定的说明 纯钧官方 阅读全文
摘要：
SSM使用自定义ConditionalOnProperty实现按需加载spring bean 背景: 公司提供的系统框架是SSM架构，SSM架构是没有springboot的ConditionalOnProperty注解的，而我们的系统是在很多区县部署的，每个区县会有一些定制化需求，其中有一个类只在一 阅读全文
摘要：
Jedis连接踩坑日记 背景: 线上某块业务的增删改功能全部都不可用。页面发送了xhr请求之后 状态一直处于pending状态，后端没有日志产生 排查路线与解决办法 第一：由于服务在内网里面，无法进行远程调试。所以采用比较笨的方式，在代码里面多加一些日志，最后定位 JedisUtil.getJedi 阅读全文
摘要：
使用Elasticsearch做手机号和身份证号的模糊检索 背景 客户想通过人名 四位数值 来检索人的信息 例如 张三 3421，例如需要检索包含张三和且手机号或者身份证里包含3421的数据 过程 es集群使用的是ik_max_word分词器，该分词器不会对手机号和身份证号进行分词，是无法做到手机号 阅读全文
摘要：
Elasticsearch数据同步优化 背景 为了满足项目需求，需要将大量数据的数据写入到ES进行检索，预估数据量是40亿左右，目前需要同步进去的是2亿左右。 ES集群配置 三台128G的国产服务器 国产linux系统 CPU主频低的拉跨 JDK8的版本 机械硬盘 遇到的问题 后端使用Java调用e 阅读全文
摘要：
简介 chunjun是一款基于flink的开源数据同步工具，官方文档，其提供了很多flink官方未提供的插件供大家来使用，特别是达梦插件在国产化环境中很方便！ 本次介绍的是chunjun中的一款http插件，通过该插件可以实现基于http请求的流处理，但是目前官方提供的http插件在以SQL模式运行 阅读全文
摘要：
SpringBoot Redis 发布订阅模式 Pub/Sub 注意：redis的发布订阅模式不可以将消息进行持久化，订阅者发生网络断开、宕机等可能导致错过消息。 Redis命令行下使用发布订阅 publish 发布 发布者通过以下命令可以往指定channel发布message redis> pub 阅读全文
摘要：
MySQL组引合索优化SQL 我的场景 200w左右的数据，后面会更多 使用定时任务爬取数据插入到自己的数据库。要保证数据的唯一性，所以我用了组合唯一索引。 表结构 最初的组合索引 SQL执行和explain 由于对索引的知识了解的不多，后来了解到由于组合索引的最左原则导致该索引在这个SQL查询的时 阅读全文
摘要：
基于RBAC实现权限管理 技术栈：SpringBoot、SpringMVC RBAC RBAC数据库表 主体 编号 账号 密码 001 admin 123456 资源 编号 资源名称 访问路径 001 查询用户列表 /user/list 权限 编号 权限标识 权限名称 资源编号 001 user:l 阅读全文
摘要：
微信小程序简单封装图片上传组件 希望自己 “day day up” 小陶 我从哪里来 在写小程序的时候需要上传图片，个人觉得官方提供的 Uploader 组件不是太好用，于是乎，看了官方文档，自己封装一个组件。 我是谁 直接上主题 在根目录下创建components文件夹 在components下开 阅读全文