摘要: 【产品需求】 对所有元数据进行分析,匹配出表字段相似度达到阈值的向相似结构表关系数据。 网上没有搜到相关算法实现,只能自己动手了。 【算法实现】 简单点实现的话,可以轮询所有表,每张表都和其它表进行匹配相似度,不过这是人干的事?如果有1W张表岂不要查询1W × 9999次? 1、先统计出相同字段、表 阅读全文
posted @ 2020-09-04 18:47 codest 阅读(193) 评论(0) 推荐(0) 编辑
摘要: import com.alibaba.druid.sql.SQLUtils; import com.alibaba.druid.sql.ast.SQLStatement; import com.alibaba.druid.sql.visitor.SchemaStatVisitor; import c 阅读全文
posted @ 2020-08-20 15:07 codest 阅读(1762) 评论(1) 推荐(0) 编辑
摘要: 调用一个接口,发送POST请求,浏览器和Postman均返回正常,代码中用RestTemplate和HttpClient均返回乱码 开始一直以为是编码问题导致,网上查了解决方法,也看了源码,都不对症 最后发现在请求头header中有两个配置项,如下: "Accept-Encoding":"gzip, 阅读全文
posted @ 2020-08-09 22:37 codest 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 报错现象 线上项目使用HttpClient请求第三方的HTTP资源,并发量高的时候,日志框报Timeout waiting for connection from pool 客户端的现象是有时正常,有时报错 原因分析 网上查找资料,很多照搬某个博客的解决方法,大致是合理的使用EntityUtils. 阅读全文
posted @ 2020-06-12 23:02 codest 阅读(1497) 评论(0) 推荐(0) 编辑
摘要: 网上找了很多文章,各种照搬,只能自己实现 基于开源项目HTTP-Proxy-Servlet实现 开源项目地址:https://github.com/mitre/HTTP-Proxy-Servlet 1. 添加依赖 <dependency> <groupId>org.mitre.dsmiley.htt 阅读全文
posted @ 2020-06-11 14:39 codest 阅读(3779) 评论(0) 推荐(0) 编辑
摘要: 项目启动以后收不到Kafka发出的消息,日志输出类似: INFO [org.springframework.kafka.KafkaListenerEndpointContainer#1-7-C-1] org.apache.kafka.clients.consumer.internals.Abstra 阅读全文
posted @ 2020-06-10 10:56 codest 阅读(1905) 评论(0) 推荐(0) 编辑
摘要: 一、写在前面 关于爬取高德兴趣点边界坐标网上有几篇文章介绍实现方式,总的来说就是通过https://www.amap.com/detail/get/detail传入POI的ID值获取数据,BUT,如果实际操作过就会发现,然并卵。 二、主角出场 这里提供一个思路具体怎么应用大家自己把握。Seleniu 阅读全文
posted @ 2020-01-10 13:52 codest 阅读(810) 评论(1) 推荐(0) 编辑
摘要: 一、背景介绍 最近在做一个地理信息相关的项目,需要维护大量的地址描述数据,同时需要提供对数据检索的功能,准备采用Elasticsearch(6.7)实现。那么问题就来了,地址数据需要同时在MySQL和ES中维护,如果通过代码层面实现会增加代码量也不易维护,权衡之下决定使用阿里的Canal中间件来实现 阅读全文
posted @ 2019-12-31 15:14 codest 阅读(2062) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://blog.csdn.net/qq_26323323/article/details/89814410 2020/02/26重新编辑一下 前面介绍ShutDownHook的基本使用方法,但是没有清楚的表述如何在SpringBoot中运用,这里我们来补充一下: 查阅SpringB 阅读全文
posted @ 2019-11-27 18:13 codest 阅读(4078) 评论(0) 推荐(0) 编辑
摘要: 交代一下背景: RocketMQ服务端搭建在ECS上面(问题就出在这里) SpringBoot应用根据官网Demo(参考:https://github.com/apache/rocketmq-spring/tree/master/rocketmq-spring-boot-samples)构建 项目启 阅读全文
posted @ 2019-11-27 16:04 codest 阅读(22675) 评论(1) 推荐(1) 编辑