随笔分类 -  中间件

kafka配置
摘要：1. 生产端的配置文件 producer.properties #指定kafka节点列表，用于获取metadata，不必全部指定 #需要kafka的服务器地址，来获取每一个topic的分片数等元数据信息。 metadata.broker.list=kafka01:9092,kafka02:9092, 阅读全文
posted @ 2020-06-22 10:12 caonw 阅读(227) 评论(0) 推荐(0)
filebeat配置kafka
摘要：filebeat.yaml filebeat.prospectors: - input_type: log paths: - /var/log/messages output.kafka: hosts: ["10.23.215.95:9092","10.23.215.96:9092","10.23. 阅读全文
posted @ 2020-06-19 09:23 caonw 阅读(2707) 评论(0) 推荐(0)
kafka 处理大数据
摘要：Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议： 最好的方法是不 阅读全文
posted @ 2020-06-11 11:12 caonw 阅读(1459) 评论(0) 推荐(0)
redis5.0 一主二从三哨兵（亲测，原创）
摘要：redis5.0 一主二从三哨兵 阅读全文
posted @ 2019-11-21 17:36 caonw 阅读(999) 评论(0) 推荐(0)
ZooKeeper参数详解
摘要：ZooKeeper参数详解 阅读全文
posted @ 2019-11-21 17:34 caonw 阅读(1530) 评论(0) 推荐(0)
使用Kafka Connect导入/导出数据
摘要：从控制台写入数据并将其写回到控制台是一个方便的起点，但是您可能要使用其他来源的数据或将数据从Kafka导出到其他系统。对于许多系统，可以使用Kafka Connect导入或导出数据，而无需编写自定义集成代码。 Kafka Connect是Kafka附带的工具，用于将数据导入和导出到Kafka。它是运 阅读全文
posted @ 2019-11-21 16:22 caonw 阅读(1343) 评论(0) 推荐(0)
Zookeeper+Kafka集群测试
摘要：创建topic： [root@zookeep-kafka-node1 bin]# ./kafka-topics.sh --create --zookeeper 10.23.209.70:2181,10.23.209.71:2181,10.23.209.72:2181 --replication-fa 阅读全文
posted @ 2019-11-20 15:18 caonw 阅读(390) 评论(0) 推荐(0)
zookeeper，kafka错误
摘要：zookeeper，kafka错误 阅读全文
posted @ 2019-11-20 15:03 caonw 阅读(3231) 评论(0) 推荐(0)
kafka systemctl开机启动
摘要：kafka systemctl开机启动 阅读全文
posted @ 2019-11-20 14:47 caonw 阅读(1336) 评论(1) 推荐(1)
zookeeper systemctl开机启动
摘要：创建 /etc/systemd/system/zookeeper.service 文件，内容下 [root@zookeep-kafka-node1 kafka_2.12-2.3.0]# cat /etc/systemd/system/zookeeper.service [Unit] Descript 阅读全文
posted @ 2019-11-20 14:06 caonw 阅读(2188) 评论(0) 推荐(1)
kafka升级官方指导及注意事项
摘要：kafka升级官方指导及注意事项 阅读全文
posted @ 2019-11-20 10:34 caonw 阅读(6095) 评论(0) 推荐(0)
redis 参数详解
摘要：redis 参数详解 阅读全文
posted @ 2019-10-23 17:11 caonw 阅读(4826) 评论(0) 推荐(0)