摘要：
问题： 1，kafka+storm如何保证消息完整处理。 一条消息产生 Kafka--KafkaSpout-Storm >Redis 问题1：kafka数据生产消费如何保证消息的完整处理 Producer-batch(缓存机制queue)--重试机制 >ack(-1,1,0) Broker(part 阅读全文
posted @ 2020-10-18 23:51
十一vs十一
阅读(174)
评论(0)
推荐(0)
摘要：
需求：1、采集订单系统应用打印的日志文件日志文件使用log4j生成，滚动生成。xxxx.log xxxx.log xxxx.logxxxx.log.1 xxxx.log.1xxxx.log.2 2、将采集的日志文件保存到kafka中（source） 输入：tail -F xxxx.log（chann 阅读全文
posted @ 2020-10-18 23:48
十一vs十一
阅读(186)
评论(0)
推荐(0)
摘要：
问题：1、集群如何启动，任务如何执行？java -server nimubs，supervisorclient >createTopology(序列化) >提交jar到nimbuinbox >nimbus分配任务(task总数/worker数) .启动worker< 识别自己的任务< supervi 阅读全文
posted @ 2020-10-18 23:46
十一vs十一
阅读(87)
评论(0)
推荐(0)
摘要：
1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是def 阅读全文
posted @ 2020-10-18 23:45
十一vs十一
阅读(175)
评论(0)
推荐(0)
摘要：
1、编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介 阅读全文
posted @ 2020-10-18 23:43
十一vs十一
阅读(89)
评论(0)
推荐(0)
摘要：
Hadoop ,Hive Kafka, Spark Hbase Flink Storm Zookeeper HDFS YARN Flume Kudu Redis MR ETL设 阅读全文
posted @ 2020-10-18 18:19
十一vs十一
阅读(99)
评论(0)
推荐(0)
摘要：
案例: 演示使用Scanner的小细节问题. 问题描述: 先用nextInt()接收用户录入的整数, 在用nextLine()接收用户录入的字符串, 会导致用户无法录入字符串的情况. 产生原因: 1. nextInt() 和 nextLine()的结束标记都是: \r\n 2. nextInt()方 阅读全文
posted @ 2020-10-18 00:36
十一vs十一
阅读(69)
评论(0)
推荐(0)
浙公网安备 33010602011771号