BIG*BOSS

摘要： Kafka是什么？ Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 Kafka架构 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息 推送到客户端 阅读全文

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Source *Source负责接收events或通过特殊机制 阅读全文

摘要： 总订单数1亿条 ->订单id，用户id，商品id集合，订单时间，订单完成时间，订单状态； HBase表设计： 主表 -> Rowkey: 用户ID_时间戳 列簇：info 索引表 -> https://www.2cto.com/database/201708/664664.html rowkey: 阅读全文

摘要： 想要运行的代码需要在application中运行 使用@Component并实现CommandLineRunner接口、重写方法@Override run( ) @Component public class BillionOrder implements CommandLineRunner { . 阅读全文

摘要： 必须是springboot工程 在pom.xml中添加 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.2.0</version> < 阅读全文

摘要： 今天继续学习kafka Kafka命令 1）查看当前服务器中的所有topic [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --list --zookeeper hadoop102:2181 2）创建topic [atguigu@hadoop102 k 阅读全文

摘要： 同学升级HBase后遇到这个问题，hbase shell，status就可以看到 ERROR: …hbase.PleaseHoldException: Master is initializing 解决办法： 进入zookeeper zkCli.sh -server 192.168.1.23:218 阅读全文

摘要： 1.下载安装包http://archive.apache.org/dist/flume/ 2.解压命令tar -zxvf 压缩包 -C 路径 3.配置环境变量 export FLUME_HOME=/opt/programs/apache-flume-1.6.0-bin export PATH=$PA 阅读全文

摘要： 1）Storm用于实时计算，Hadoop用于离线计算。 2）Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批处 理。 3）Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中。 4）Storm与Hadoop的编程模型相似 （1）hadoop相关 阅读全文

摘要： nimbus 是整个集群的控管核心，负责topology的提交、运行状态监控、任务重新分配等工作。 zk就是一个管理者，监控者。 总体描述：nimbus下命令（分配任务），zk监督执行（心跳监控worker、supurvisor的心跳都归它管），supervisor领旨（下载代码），招募人马(创建w 阅读全文