大数据场景下数据异构之 Mysql实时写入HBase(借助canal kafka SparkStreaming)
摘要:背景:公司线下ETC机房有个Mycat集群,供订单系统使用,现需要进行数据异构将Mysql数据(近)实时写入另一套数据库用作读请求和数据归档用技术选型:binlog解析工具:阿里开源的canal 消息中间件:kafka 流式框架:SparkStreaming上代码canal解析mysqlbinlog
阅读全文
使用canal数据同步的踩坑
摘要:https://blog.csdn.net/weixin_44188501/article/details/107392089
阅读全文
Maven依赖分析,jar包冲突解决利器intellij idea插件Maven Helper强烈建议安装
摘要:还在为解决jar包依赖冲突痛苦??? 那就好好看看下面的文章吧! 目前大多公司的java项目都以Maven项目为主,最近也通过Maven Helper解决了一些生产问题,在这里分享一下安装和基本使用方法! 安装方法: File-Settings-Plugins 点击“Browse repositor
阅读全文
elasticsearch官网下载
摘要:一、官网下载地址: https://www.elastic.co/cn/downloads/elasticsearch 二、点击“past releases” ,然后找到对应的版本,点击Download。 三、选择相应的系统版本进行下载。Elasticsearch 6.4.x对应的是lucene的7
阅读全文
查看lucene和elasticsearch的版本对应关系
摘要:一、Maven仓库官网: https://mvnrepository.com/ 二、搜索elasticsearch,然后点击Server或者elasticsearch进入。 三、点击相应的版本号进入。 四、查看对应的lucene版本。 END
阅读全文
Spring Boot 2.3.2 集成elasticsearch 7.6.2实战
摘要:前言 此前虽然有尝试过集成elasticsearch,不过技术栈并非spring boot。本次尝试在springboot项目中集成elasticsearch,不过由于spring boot、es、rest的版本问题,折腾了好久,写这篇文章的目的一是分享一下,也是为了纪念当时的摸爬滚打。注:集成过程
阅读全文
Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required
摘要:Spring Boot报错 java.lang.IllegalArgumentException:Property 'sqlSessionFactory' or 'sqlSessionTemplate' are required以及Error creating bean with name 'xxx
阅读全文
Windows环境下搭建 【ElasticSearch】
摘要:ElasticSearch,简称ES, 是一个基于Lucene的分布式全文搜索服务器,和SQL Server的全文索引(Fulltext Index)有点类似,都是基于分词和分段的全文搜索引擎,具有分词,同义词,词干查询的功能,但是ES天生具有分布式和实时的属性。 一,安装Java SE环境 安装J
阅读全文
Java多线程分批发送消息的小例子
摘要:需求: 假设有10万个用户,现在节假日做活动,需要给每个用户发送一条活动短信,为了提高程序的效率,建议使用多线程分批发送. 这里值得注意的是: 每开一个线程都会占用CPU的资源,所以线程根据所需要的条数来决定就好,避免浪费,我们用的是一个小例子,只是说明了多线程处理提高了效率,实际的大规模场景中不建
阅读全文