摘要：
一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。 当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes 阅读全文
posted @ 2020-05-17 20:42
咔啡
阅读(2232)
评论(0)
推荐(0)
摘要：
1（默认） 数据发送到Kafka后，经过leader成功接收消息的的确认，就算是发送成功了。在这种情况下，如果leader宕机了，则会丢失数据。 0 生产者将数据发送出去就不管了，不去等待任何返回。这种情况下数据传输效率最高，但是数据可靠性确是最低的。 -1 producer需要等待ISR中的所有f 阅读全文
posted @ 2020-05-17 20:40
咔啡
阅读(1272)
评论(0)
推荐(0)
摘要：
Cache Filesystem Cache PageCache缓存 顺序写 由于现代的操作系统提供了预读和写技术，磁盘的顺序写大多数情况下比随机写内存还要快。 Zero-copy 零拷⻉技术减少拷贝次数 Batching of Messages 批量量处理。合并小的请求，然后以流的方式进行交互，直 阅读全文
posted @ 2020-05-17 20:39
咔啡
阅读(202)
评论(0)
推荐(0)
摘要：
缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。 解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要 阅读全文
posted @ 2020-05-17 20:38
咔啡
阅读(1740)
评论(0)
推荐(0)
摘要：
由于是批量发送，数据并非真正的实时； 对于mqtt协议不支持； 不支持物联网传感数据直接接入； 仅支持统一分区内消息有序，无法实现全局消息有序； 监控不完善，需要安装插件； 依赖zookeeper进行元数据管理； 阅读全文
posted @ 2020-05-17 20:36
咔啡
阅读(2069)
评论(0)
推荐(0)
摘要：
副本因子不能大于 Broker 的个数； 第一个分区（编号为0）的第一个副本放置位置是随机从 brokerList 选择的； 其他分区的第一个副本放置位置相对于第0个分区依次往后移。也就是如果我们有5个 Broker，5个分区，假设第一个分区放在第四个 Broker 上，那么第二个分区将会放在第五个 阅读全文
posted @ 2020-05-17 20:35
咔啡
阅读(666)
评论(0)
推荐(0)
摘要：
Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过index元数据全部映射到memory，可以避免segment file的IO磁盘操 阅读全文
posted @ 2020-05-17 20:33
咔啡
阅读(367)
评论(0)
推荐(0)
摘要：
数据传输的事务定义通常有以下三种级别： （1）最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输 （2）最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输. （3）精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被 阅读全文
posted @ 2020-05-17 20:32
咔啡
阅读(327)
评论(0)
推荐(0)
摘要：
可以参见我这篇文章：Kafka 是如何保证数据可靠性和一致性 阅读全文
posted @ 2020-05-17 20:31
咔啡
阅读(428)
评论(0)
推荐(0)
摘要：
分区对于 Kafka 集群的好处是：实现负载均衡。分区对于消费者来说，可以提高并发度，提高效率。 阅读全文
posted @ 2020-05-17 20:30
咔啡
阅读(2550)
评论(0)
推荐(0)
摘要：
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据 阅读全文
posted @ 2020-05-17 20:29
咔啡
阅读(1727)
评论(0)
推荐(0)
摘要：
虽然两者都是用来暂停当前运行的线程，但是 sleep() 实际上只是短暂停顿，因为它不会释放锁，而 wait() 意味着条件等待，这就是为什么该方法要释放锁，因为只有这样，其他等待的线程才能在满足条件时获取到该锁。 阅读全文
posted @ 2020-05-17 00:33
咔啡
阅读(412)
评论(0)
推荐(0)
摘要：
线程局部变量是局限于线程内部的变量，属于线程自身所有，不在多个线程间共享。Java 提供 ThreadLocal 类来支持线程局部变量，是一种实现线程安全的方式。但是在管理环境下（如 web 服务器）使用线程局部变量的时候要特别小心，在这种情况下，工作线程的生命周期比任何应用变量的生命周期都要长。任 阅读全文
posted @ 2020-05-17 00:32
咔啡
阅读(1661)
评论(0)
推荐(0)
浙公网安备 33010602011771号