随笔分类 -  分布式文件系统

MySQL特定表全量、增量同步到消息队列-解决方案
摘要:1、原始需求 既要同步原始全量数据,也要实时同步MySQL特定库的特定表增量数据,同时对应的修改、删除也要对应。 数据同步不能有侵入性:不能更改业务程序,并且不能对业务侧有太大性能压力。 应用场景:数据ETL同步、降低业务服务器压力。 2、解决方案 3、canal介绍、安装 canal是阿里巴巴旗下 阅读全文

posted @ 2021-11-26 15:49 李雷 阅读(593) 评论(0) 推荐(0)

常用的分布式文件系统
摘要:1 分布式文件系统 1.1 什么是分布式文件系统? 分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点(可简单的理解为一台计算机)相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层 阅读全文

posted @ 2021-10-30 11:43 李雷 阅读(2984) 评论(0) 推荐(0)

minio原理和使用
摘要:简介 Minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 Minio是一个非常轻量的服务 阅读全文

posted @ 2021-10-30 11:35 李雷 阅读(1268) 评论(0) 推荐(0)

导航