十一vs十一 - 博客园

2020年10月19日

摘要：问题：1、集群如何启动，任务如何执行？java -server nimubs，supervisorclient >createTopology(序列化) >提交jar到nimbuinbox >nimbus分配任务(task总数/worker数) 写到zk。启动worker< 识别自己的任务< sup 阅读全文

posted @ 2020-10-19 09:20 十一vs十一阅读(73) 评论(0) 推荐(0)

7、kafka知识总结

摘要： 1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是阅读全文

posted @ 2020-10-19 09:17 十一vs十一阅读(99) 评论(0) 推荐(0)

4、Storm启动流程分析 ---没用

摘要： Storm启动流程分析程序员client 1、客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写一个方法，每个方法都可以生成一条相应的java命令。命令格式如下：java -server xxxx.ClassName -args nimbus > R 阅读全文

posted @ 2020-10-19 09:16 十一vs十一阅读(127) 评论(0) 推荐(0)

2、Storm架构和编程模型总结 ---重要

摘要： 1、编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介阅读全文

posted @ 2020-10-19 09:15 十一vs十一阅读(99) 评论(0) 推荐(0)

2020年10月18日

附6、Storm面试题目答疑 ---有用

摘要：问题： 1，kafka+storm如何保证消息完整处理。一条消息产生 Kafka--KafkaSpout-Storm >Redis 问题1：kafka数据生产消费如何保证消息的完整处理 Producer-batch(缓存机制queue)--重试机制 >ack(-1,1,0) Broker(part 阅读全文

posted @ 2020-10-18 23:51 十一vs十一阅读(174) 评论(0) 推荐(0)

实时业务指标分析 ---没用

摘要：需求：1、采集订单系统应用打印的日志文件日志文件使用log4j生成，滚动生成。xxxx.log xxxx.log xxxx.logxxxx.log.1 xxxx.log.1xxxx.log.2 2、将采集的日志文件保存到kafka中（source）输入：tail -F xxxx.log（chann 阅读全文

posted @ 2020-10-18 23:48 十一vs十一阅读(186) 评论(0) 推荐(0)

附3、第二天课程学习整体思路及问题 ---没用

摘要：问题：1、集群如何启动，任务如何执行？java -server nimubs，supervisorclient >createTopology(序列化) >提交jar到nimbuinbox >nimbus分配任务(task总数/worker数) .启动worker< 识别自己的任务< supervi 阅读全文

posted @ 2020-10-18 23:46 十一vs十一阅读(87) 评论(0) 推荐(0)

kafka知识总结 ---重要

摘要： 1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。数据的分发策略由producer决定，默认是def 阅读全文

posted @ 2020-10-18 23:45 十一vs十一阅读(175) 评论(0) 推荐(0)

2、Storm架构和编程模型总结 ---重要

posted @ 2020-10-18 23:43 十一vs十一阅读(89) 评论(0) 推荐(0)

大数据用到的技术 ---重要

摘要： Hadoop ,Hive Kafka, Spark Hbase Flink Storm Zookeeper HDFS YARN Flume Kudu Redis MR ETL设阅读全文

posted @ 2020-10-18 18:19 十一vs十一阅读(99) 评论(0) 推荐(0)

公告