摘要: 场景: 用户的系统越来越复杂,多系统,多服务,分散在不同的主机或者容器中,AIops和数据分析,数据挖掘的需求越来越迫切,数据需要从不同的分散的系统采集出来,集中处理,那么数据库的数据采集也是比较重要的一块需求!用户对数据库采集的需求,主要是数据需要实时采集,数据完整性,不丢一条数据,另外采集程序的 阅读全文
posted @ 2020-10-12 13:53 三思三醒 阅读(2102) 评论(0) 推荐(0)
摘要: 场景: 有一台重要的服务器,每天记录一万+的实时写入日志,日志文件分多级目录存储在一个文件夹下,用户需要能够实时采集一万+的日志,要求日志采集延时小于30秒,采集程序的资源消耗cpu小于5%,内存小于500M。 挑战有两个: 1.如何能够实时采集一万+的增量日志,采集延时小于30秒 2.如果能够控制 阅读全文
posted @ 2020-10-10 14:57 三思三醒 阅读(784) 评论(0) 推荐(0)