newlangwen

2020年2月1日

kafka是如何保证消息不被重复消费的

摘要： https://www.cnblogs.com/756623607-zhang/p/10506909.html 阅读全文

posted @ 2020-02-01 11:25 newlangwen 阅读(2005) 评论(0) 推荐(0)

2020年1月31日

kafka面试题及答案

摘要： https://www.jianshu.com/p/934739452fd1 阅读全文

posted @ 2020-01-31 18:36 newlangwen 阅读(209) 评论(0) 推荐(0)

kafka的Lag 计算误区及正确方式

摘要： https://blog.csdn.net/u013256816/article/details/79955578 阅读全文

posted @ 2020-01-31 15:15 newlangwen 阅读(779) 评论(0) 推荐(0)

2020年1月17日

MySQL表结构导出Excel

摘要： 1. information_schema.COLUMNS表记录了所有库中所有表的字段信息字段备注TABLE_CATALOGdef 标记符TABLE_SCHEMA表、视图所在的数据库名TABLE_NAME表、视图名COLUMN_NAME字段名ORDINAL_POSITION字段编号，从1开始往后排阅读全文

posted @ 2020-01-17 11:33 newlangwen 阅读(553) 评论(0) 推荐(0)

2020年1月12日

kafka的相关操作脚本

摘要： kafka的相关操作脚本 1、创建Topic./kafka-topics.sh --zookeeper cc13-141:2182 --topic mytopic --replication-factor 1 --partitions 1 --create 2、Topic列表./kafka-topi 阅读全文

posted @ 2020-01-12 19:21 newlangwen 阅读(328) 评论(0) 推荐(0)

Kafka 消息的消费原理

摘要： https://www.cnblogs.com/huxi2b/p/6061110.html 1.老版本的kafka的offset是维护在zk上的，新版本的kafka把consumer的offset维护保存在kafka的内部topic上 bin/kafka-simple-consumer-shell. 阅读全文

posted @ 2020-01-12 19:05 newlangwen 阅读(339) 评论(0) 推荐(0)

2020年1月11日

kafka 消息可靠性

摘要： 1.消息发送机制 Kafka的ack机制。当producer向leader发送数据时，可以通过request.required.acks参数来设置数据可靠性的级别： 1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕阅读全文

posted @ 2020-01-11 19:14 newlangwen 阅读(325) 评论(0) 推荐(0)

kafka 分区

摘要： 1. 默认存储 /tmp/kafka-logs test-0 0:分区数阅读全文

posted @ 2020-01-11 19:05 newlangwen 阅读(134) 评论(0) 推荐(0)

kafka 日志策略

摘要：日志查看： usr/local/kafka/kafka_2.11-2.4.0/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/test-0/00000000000000000000.log --pr 阅读全文

posted @ 2020-01-11 18:45 newlangwen 阅读(250) 评论(0) 推荐(0)

kafka 高吞吐量的因素

摘要： 1.顺序的方式存储数据； 2.批量发送； 3.零拷贝；来源：咕泡学院阅读全文

posted @ 2020-01-11 18:23 newlangwen 阅读(333) 评论(0) 推荐(0)

公告