摘要:
我们使用Kafka来进行日志的收集(没有使用Kafka来进行消息通信是考虑到我们的系统并发量少,并且微服务之间的通信有同步的需求),系统每执行一次测试用例集的运行,就会生成一个jobID(即认为每一次执行就是一项任务,分配一个任务ID),该jobID就作为Kafka的topic,后续所有此次任务过程中产生的log信息都会存到这个topic中,后续的ELK等模块就可以根据jobID即topic来从kafka中获取该次任务执行的log并进行分析。到此,凭您的经验,一定能想到我们这个需求其实对Kafka集群提出了两个难题:
1. 我们系统中kafka的topic(即jobID)并不是事先已知的topic,完全都是根据用户每次创建或者选择的测试用例集而动态生成的topic,最直接的影响就是consumer(消费者)无法事先写死这些topic。
2. 因为log记录的是测试用例运行的情况,因此要求向topic写入的消息应该是顺序的,而不能是无序的。 阅读全文
posted @ 2021-12-17 17:29
selpierw
阅读(297)
评论(0)
推荐(0)
摘要:
上一节我们介绍了mariaDB集群的搭建,这一节我们介绍一下redis集群的搭建以及在springboot中使用redis集群。 一、redis集群的搭建 redis集群的搭建我们同样没有使用operator的形式,而是同样手动搭建,基本上是按照下面两篇博文中的步骤来的,在此再次感谢相关的作者: h 阅读全文
posted @ 2021-12-17 14:48
selpierw
阅读(616)
评论(0)
推荐(0)
摘要:
这节介绍的是mariadb集群的搭建,首先我们的需求比较简单,项目的并发量虽然不高,但对于数据的一致性以及数据库的备份、容灾这些基本要求还是有的,基于此,我们选择了集成了Galera插件的mariadb集群,关于Galera cluster,简单理解起来就是实现了multi-master即多主架构,因此当客户端要读取或者写入数据时,不需要选择特定的节点,连接任何一个节点都一样,对于写操作,集群会负责同步到其他节点。 阅读全文
posted @ 2021-12-17 11:33
selpierw
阅读(983)
评论(0)
推荐(0)

浙公网安备 33010602011771号