2022年7月24日

springBoot 整合 kafka zookeeper spark实时监控消费 一秒内处理千万条数据

摘要: 这里为了照顾菜鸟 小白 我用大量的 截图 以及白话阐述 1.环境:虚拟机 Linux7.X docker JDK11 zookeeper spark kafka 安装部署 全部都是 集成在docker中的 安装步骤关注我的相关文档 比较复杂 测试期间 可以部署单节点 2.安装成功截图: 2.spri 阅读全文

posted @ 2022-07-24 15:56 汽车修理工马鹏飞 阅读(841) 评论(0) 推荐(0)

kafka笔记总结

摘要: 一:Kafka特性 1.为什么要用消息队列 《解耦、异步、削峰》 1.1高吞吐量、低延迟: kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个主题可以分多个分区,消费组对分区进行消费操作。 1.2可扩展性: kafka集群支持热扩展 1.3持久性、可靠性:消息被持久化到本地磁盘,并且支 阅读全文

posted @ 2022-07-24 15:05 汽车修理工马鹏飞 阅读(128) 评论(0) 推荐(0)

基于docker安装单节点spark测试环境

摘要: #第一步:下载docker和docker-compose一键安装脚本wget -c http://download.cashalo.com/schema/auto_Docker.sh#第二步:运行脚本sh auto_Docker.sh#第三步:确认docker-compose安装成功docker-c 阅读全文

posted @ 2022-07-24 11:00 汽车修理工马鹏飞 阅读(586) 评论(0) 推荐(0)

导航