摘要：
什么是kafka中的零拷贝问题 1. 传统的IO拷贝 传统的一次 I/O 流程包括应用程序发起读（read）或写（write）请求，操作系统将请求传递给设备驱动程序，驱动程序与硬件设备通信执行操作，设备完成后返回结果，操作系统再将结果返回给应用程序，应用程序根据结果进行处理。整个过程通常是同步的，应 阅读全文
posted @ 2024-11-14 16:32
Mason77
阅读(168)
评论(0)
推荐(0)
摘要：
深入理解MySQL索引的底层原理和优化 1. 什么是索引 索引是帮助MySQL高效获取数据的排好序的数据结构。用于提高查询性能，相当于书的目录。比如我们在读一本书的时候，首先是通过目录来定位到文章的页码，然后通过页码再来快速定位到具体的内容。MySQL中也是一样，在查询数据的时候，首先看查询条件是否 阅读全文
posted @ 2024-11-12 16:37
Mason77
阅读(311)
评论(0)
推荐(0)
摘要：
kafka监控部署 kafka使用Prometheus、Grafana和kafka_exporter来构建kafka指标监控 问题背景 在实时场景下，对于数据积压是很常见的，我们更希望如何去快速知道有没有数据积压，目前消费了多少，速度怎么样，趋势如何。可以使用原生命令kafka-consumer-g 阅读全文
posted @ 2024-11-11 18:32
Mason77
阅读(219)
评论(0)
推荐(0)
摘要：
编写StarRocks的自定义函数 前提条件 StarRocks使用udf函数需要满足以下条件: 安装jdk1.8 开启udf功能，在FE的配置文件fe/conf/fe.conf中设置配置项enable_udf为true，并且重启FE节点使配置生效 开发使用UDF函数 创建maven项目，并且用ja 阅读全文
posted @ 2024-11-11 18:23
Mason77
阅读(616)
评论(0)
推荐(0)
摘要：
关于hive分区表不得不说的故事 1. hive分区表的理解 Hive的分区表是一种特殊设计的表结构，它在逻辑上将数据按照预先定义的分区键进行划分，在物理上对应于Hadoop分布式文件系统（HDFS）的不同目录。分区表的主要目的是为了优化大规模数据集的存储与查询性能 hive分区表主要是一种重要的数 阅读全文
posted @ 2024-11-11 18:16
Mason77
阅读(48)
评论(0)
推荐(0)
摘要：
关于json反序列化为实体的泛型擦除问题 1. 问题背景 生产中，使用配置文件将json中数据对应赋值到实体的某个字段上，其中主要问题在于数据类型是什么？json数据中无法很好区分，这块设计的是反射拿到具体的数据类型进行赋值。但，如果是嵌套类型怎么办，比如将某段json字段值赋值到Map<Strin 阅读全文
posted @ 2024-11-11 16:27
Mason77
阅读(120)
评论(0)
推荐(0)
浙公网安备 33010602011771号