随笔分类 - kafka
摘要:Kafka特性 顺序读写(高吞吐) 吞吐率可以水平拓展 消息可以保存 发送消息可以指定key,producer根据key和patition机制来判断将消息发送到那个partition 一般partition的数量大于broker以便均匀分配到broker上 如何为kafka集群选择合适的topic数
阅读全文
摘要:config/server.properties 数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据,也就是消费端能够多久去消费数据 log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除,会被topi
阅读全文
摘要:kafka是一个分布式的、可分区的、可复制的消息系统。 几个消息系统术语
阅读全文
摘要:为什么要用消息队列? 解耦 冗余 拓展性 灵活性&峰值处理能力 可恢复性 送达保证 顺序保证 缓冲(发送数据不可能实时,进行缓冲。保证最快送达) 异步通信 常用消息队列 RabbitMQ:支持协议多,挒如AMQP、XMPP、SMTP、STOMP。对路由、负载均衡、数据持久化很好支持 Redis:轻量
阅读全文

浙公网安备 33010602011771号