2024年9月9日
mysql数据可见性
摘要： 当前读、快照读快照读就是读取数据的时候会根据一定规则读取事务可见版本的数据。 而当前读就是读取最新版本的数据。对于一个快照来说，它能够读到哪些版本数据，要遵循以下规则：A.当前事务内的更新，可以读到；B.版本未提交，不能读到；C.版本已提交，但是却在快照创建后提交的，不能读到；D.版本已提交，且是在 阅读全文
posted @ 2024-09-09 14:26 停不下的时光 阅读(1) 评论(0) 推荐(0) 编辑
2024年5月23日
springboot feign调用参数
摘要： @FeignClient(value = "xxx-system-xll",path = "/xxx-system") 阅读全文
posted @ 2024-05-23 09:38 停不下的时光 阅读(9) 评论(0) 推荐(0) 编辑
2024年1月30日
Hive
摘要： Hive Hive基本概念 Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL的查询功能 Hive的本质是将HQL转化成MapReduce程序 Hive处理的数据存储在HDFS + Hive分析数据底层的实现是MapReduce + 执行程序运行在Yar 阅读全文
posted @ 2024-01-30 12:56 停不下的时光 阅读(10) 评论(0) 推荐(0) 编辑
Kafka
摘要： Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 优点： ​ 解耦 ​ 可恢复性 ​ 缓冲 ​ 灵活性 & 峰值处理能力 -> 削峰 ​ 异步通信 消息队列的两种模式： 点对点：一对一，消费者主动拉取数据，消息收到后消息清除 发布/订阅模式：一 阅读全文
posted @ 2024-01-30 12:55 停不下的时光 阅读(7) 评论(0) 推荐(0) 编辑
Maxwell
摘要： Maxwell 定义 实时读取Mysql二进制日志，并生成JSON格式的消息。作为生产者发送给 kafka，kinesis 等 原理 把自己伪装成MySQL的一个slave，然后以slave的身份假装从MySQL(master)复制数据。 安装 下载、解压 修改被监控数据库 /etc/my.cnf， 阅读全文
posted @ 2024-01-30 12:55 停不下的时光 阅读(12) 评论(0) 推荐(0) 编辑
DataX
摘要： DataX 什么是DataX DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle）、HDFS、Hive、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX框架 插件式 Reader：数据采集模块 Writer: Fram 阅读全文
posted @ 2024-01-30 12:54 停不下的时光 阅读(5) 评论(0) 推荐(0) 编辑
Elastic Search
摘要： Elastic Search 下载 https://www.elastic.co/cn/downloads/elasticsearch # elasticsearch.yml ingest.geoip.downloader.enabled: false 也可以在jvm.options里设置启动内存， 阅读全文
posted @ 2024-01-30 12:54 停不下的时光 阅读(16) 评论(0) 推荐(0) 编辑
Flink
摘要： Flink Flink 主要特点 事件驱动 基于流的世界观：在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流 分层API：越顶层越抽象，表达含义越简明，使用越方便；越底层越具体，表达能力越丰富，使用越灵活 支持事件时间（event-time）和处理时间（ 阅读全文
posted @ 2024-01-30 12:53 停不下的时光 阅读(40) 评论(0) 推荐(0) 编辑
Flume
摘要： Flume概述 https://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html Flume 定义 Flume 是 Cloudera 提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活 阅读全文
posted @ 2024-01-30 12:53 停不下的时光 阅读(12) 评论(0) 推荐(0) 编辑
2023年7月26日
redis访问时的线程安全问题
摘要： 参考：https://blog.csdn.net/diweikang/article/details/90264993 Redis 是线程安全的吗？ Redis 是个单线程程序，所以它是线程安全的。 Redis 单线程为什么还能这么快？ redis 是基于内存的，内存的读写速度非常快 redis 是 阅读全文
posted @ 2023-07-26 13:16 停不下的时光 阅读(265) 评论(0) 推荐(0) 编辑
下一页