Loading

10 2023 档案

Kafka介绍
摘要：目录一、Kafka介绍1.Kafka的使用场景、2.Kafka基本概念二、kafka基本使用1.安装前的环境准备2.启动kafka服务器3.创建主题topic4.发送消息5.消费消息三、Kafka中的关键细节1.消息的顺序存储2. 单播消息的实现【组内单播，组间多播】3.多播消息的实现【组内单播，组 阅读全文
posted @ 2023-10-21 22:00 言非 阅读(103) 评论(0) 推荐(0)
消息队列的流派
摘要：目录什么是 MQMQ 的分类有 Broker 的 MQ重 Topic轻 Topic无 Broker 的 MQ 返回 我的技术栈(Technology Stack) 什么是 MQ Message Queue（MQ），消息队列中间件。 很多人都说：MQ 通过将消息的发送和接收分离来实现应用程序的异步和解 阅读全文
posted @ 2023-10-21 19:04 言非 阅读(84) 评论(0) 推荐(0)
YARN详解
摘要：目录YARN概述 返回 我的技术栈(Technology Stack) YARN概述 Apache Hadoop YARN（Yet Another Resource Negotiator， 另一种资源协调者）是一种新的Hadoop资源管理器。 YARN是一个通用的资源管理系统和调度平台，可以为上层应 阅读全文
posted @ 2023-10-12 08:40 言非 阅读(41) 评论(0) 推荐(0)
MapReduce详解
摘要：目录MapReduce定义WordCount例子MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程MapReduce编程规范Hadoop序列化序列化概述MapReduce框架原理InputFormat数据输入切片与MapTask并行度决定机制FileInputForma 阅读全文
posted @ 2023-10-05 18:40 言非 阅读(1142) 评论(0) 推荐(0)
HDFS详解
摘要：目录一、HDFS产出背景及定义二、HDFS优缺点三、HDFS组成架构四、HDFS文件块大小HDFS的读写流程HDFS中的block、packet、chunkHDFS的读流程HDFS的写流程NameNode和SecondaryNameNode工作机制Fsimage和Edits解析CheckPoint时 阅读全文
posted @ 2023-10-04 23:51 言非 阅读(309) 评论(0) 推荐(0)
Hadoop概述及集群搭建
摘要：目录一、Hadoop介绍二、Hadoop发展简史三、Hadoop核心组件四、Hadoop架构变迁1、Hadoop 1.02、Hadoop 2.03、Hadoop 3.0五、分布式和集群的概念六、Hadoop集群简介七、Hadoop部署模式八、Hadoop 集群搭建第一步：创建虚拟机第二步：安装Lin 阅读全文
posted @ 2023-10-02 18:30 言非 阅读(1045) 评论(0) 推荐(0)
分布式系统
摘要：目录分布式系统概念分布式与集群的区别负载均衡（Load Balance）故障转移（Fail Over）伸缩性（Scalability） 返回 我的技术栈(Technology Stack) 分布式系统概念 分布式系统是一个硬件或软件组件分布在不同的网络计算机上 彼此之间仅仅通过消息传递进行通信和协调 阅读全文
posted @ 2023-10-01 15:43 言非 阅读(36) 评论(0) 推荐(0)