上一页 1 2 3 4 5 6 7 ··· 38 下一页
2022年12月16日
JAVA并发-Disruptor框架
摘要： JAVA并发-Disruptor框架 Disruptor简介 最好的方法去理解Disruptor就是将它和容易理解并且相似的队列，例如BlockingQueue。Disruptor其实就像一个队列一样，用于在不同的线程之间迁移数据，但是Disruptor也实现了一些其他队列没有的特性，如： 同一个“ 阅读全文
posted @ 2022-12-16 21:24 hongdada 阅读(1297) 评论(0) 推荐(1)
JAVA Unsafe类详解
摘要： JAVA Unsafe类详解 官方不建议使用Unsafe 使用Unsafe要注意以下几个问题： 1、Unsafe有可能在未来的Jdk版本移除或者不允许Java应用代码使用，这一点可能导致使用了Unsafe的应用无法运行在高版本的Jdk。 2、Unsafe的不少方法中必须提供原始地址(内存地址)和被替 阅读全文
posted @ 2022-12-16 00:05 hongdada 阅读(822) 评论(0) 推荐(0)
2022年12月2日
Kafka 事务
摘要： Kafka 事务 幂等性 幂等性是指发送同样的请求，对系统资源的影响是一致的。结合 Kafka Producer，是指在多次发送同样的消息，Kafka做到发送消息的不丢失和不重复。 Kafka为啥需要幂等性？ 在使用Kafka时，需要确保Exactly-Once语义。分布式系统中，一些不可控因素有很 阅读全文
posted @ 2022-12-02 17:22 hongdada 阅读(3073) 评论(0) 推荐(1)
2022年11月29日
Kafka 生产者Producer
摘要： Kafka 生产者Producer 整体架构 从上面的架构图可以看出，生产的流程主要就是一个producer线程和一个sender线程，它们之间通过BatchQueue来获取数据，它们的关系是一一对应的，所以kafka的生产过程都是异步过程。 它的同步和异步指的是接收响应结果的模式是同步阻塞还是异步 阅读全文
posted @ 2022-11-29 15:51 hongdada 阅读(547) 评论(0) 推荐(0)
Kafka 控制器Controller
摘要： Kafka 控制器Controller Broker 在启动时，会尝试去 ZooKeeper 中创建 /controller 节点。Kafka 当前选举控制器的规则是：第一个成功创建 /controller 节点的 Broker 会被指定为控制器。 Controller Broker的主要职责有很多 阅读全文
posted @ 2022-11-29 11:48 hongdada 阅读(1094) 评论(0) 推荐(0)
2022年11月25日
Linux Page cache和Buffer cache
摘要： free 命令常用参数 free 命令用来查看内存使用状况，常用参数如下： -h human-readable 格式打印 -w 把 cache & buffer 分开打印 -t show total for RAM + swap free 结果指标剖析 centos6中，cache,buffers是 阅读全文
posted @ 2022-11-25 23:16 hongdada 阅读(889) 评论(0) 推荐(1)
Linux 零拷贝技术-mmap与sendFile
摘要： 零拷贝是网络编程的关键, 很多性能优化都离不开 数据角度分析 : 在零拷贝机制中 , 整个数据在内存中只有一份数据 , 非零拷贝机制中 , 内核缓冲区 , 用户缓冲区 , Socket 缓冲区 , 各有一份数据 ; 零拷贝指的是没有 CPU 拷贝 , 都是 DMA ( 直接内存访问 ) 拷贝 ; 零 阅读全文
posted @ 2022-11-25 19:35 hongdada 阅读(2847) 评论(0) 推荐(0)
Kafka 消费端分区重平衡
摘要： 什么是分区再均衡 分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为分区再均衡（Rebalance）。Rebalance 实现了消费者群组的高可用性和伸缩性。 Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订 阅读全文
posted @ 2022-11-25 00:04 hongdada 阅读(2349) 评论(0) 推荐(1)
2022年11月24日
Kafka 日志存储及其清除策略
摘要： 日志存储结构 Kafka存储结构图： kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 阅读全文
posted @ 2022-11-24 17:05 hongdada 阅读(2347) 评论(0) 推荐(0)
Kafka 保证消息无丢失配置
摘要： Producer: block.on.buffer.full = true 尽管该参数在0.9.0.0已经被标记为“deprecated”，但鉴于它的含义非常直观，所以这里还是显式设置它为true，使得producer将一直等待缓冲区直至其变为可用。否则如果producer生产速度过快耗尽了缓冲区， 阅读全文
posted @ 2022-11-24 16:21 hongdada 阅读(140) 评论(0) 推荐(0)
Kafka 延时队列，重试队列，死信队列
摘要： 延时队列 在发送延时消息的时候并不是先投递到要发送的真实主题（real_topic）中，而是先投递到一些 Kafka 内部的主题（delay_topic）中，这些内部主题对用户不可见， 然后通过一个自定义的服务拉取这些内部主题中的消息，并将满足条件的消息再投递到要发送的真实的主题中，消费者所订阅的还 阅读全文
posted @ 2022-11-24 15:44 hongdada 阅读(3682) 评论(0) 推荐(0)
Kafka 分区分配策略
摘要： Kafka 分区分配策略 生产者发送消息分区分配策略 kafka 里的 partitioner （分区器）来负责客户端生产层面的负载均衡。 如果指定分区，就直接使用该分区。 未指定分区但存在key，则根据序列化key使用murmur2哈希算法对分区数取模 如果不存在分区或key，则会使用粘性分区策略 阅读全文
posted @ 2022-11-24 11:05 hongdada 阅读(2262) 评论(0) 推荐(0)
Kafka 相关配置参数
摘要： Kafka 相关配置参数 生产者配置参数： acks：指定了必须有多少个分区副本收到消息，生产者才会认为消息写入是成功的。默认为acks=1 acks=0 如果设置为 0，则 Producer 不会等待服务器的反馈。该消息会被立刻添加到 socket buffer 中并认为已经发送完成。在这种情况下 阅读全文
posted @ 2022-11-24 09:52 hongdada 阅读(5152) 评论(0) 推荐(1)
2022年11月23日
Kafka 副本备份机制（LEO，HW，leader epoch）
摘要： Kafka副本备份机制（LEO，HW，leader epoch） Kafka 0.11版本之前水印副本备份机制 步骤： 初始leader,follower参数都为0，其中leader中的remote LEO记录的是follower的LEO 生产者发送消息m1到leader中，更新leader的LEO 阅读全文
posted @ 2022-11-23 17:02 hongdada 阅读(667) 评论(0) 推荐(0)
2022年11月10日
华硕B460i主板调试内存
摘要： 华硕B460i主板内存调参 概况 使用的主板是b460i，cpu是10900es,内存条是芝奇的3200（c16-18-18-38） 调频2933 开始加载不能使用2933，理论上10900es的频率最高是2933，但是调了好久只能到2400 后来查网上信息，需要设置一个内存SA电压 CPU Sys 阅读全文
posted @ 2022-11-10 11:25 hongdada 阅读(899) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 ··· 38 下一页