随笔分类 -  云计算

摘要:学习kafka有一段时间了,但是对kafka架构中的各个角色以及起到的作用还是没有一个比较清晰的脉络,专门找了点时间把现在接触到的各个角色及其作用作一个简单的梳理,后续随着更加深入的学习再进一步进行完善。 各个角色和角色之间的关系如下图所示: 从上图我们可以看到kafka主要由zookeeper,生 阅读全文
posted @ 2020-09-02 21:01 罗斯托夫 阅读(601) 评论(0) 推荐(0)
摘要:上一篇我们聊完了kafka生产者,现在我们来聊一聊kafka中另一个重要的角色,kafka消费者。 消费者和消费者群组 kafka消费者分为消费者群组 和 消费者。每一个kafka消费者都隶属于一个kafka消费者群组。每个消费者群组可以对应一个或多个topic,每个topic内的分区只能对应消费者 阅读全文
posted @ 2020-08-31 22:12 罗斯托夫 阅读(155) 评论(0) 推荐(0)
摘要:生产者是指向kafka发送消息的程序。根据生产者使用场景的不同,对于消费者的配置也有着不同的要求。我们先来看看生产者向kafka中发送一条消息的过程。 生成数据 生产者生成消息数据,数据中包含topic, key, value。partition这四类信息。topic和value由用户指定且必须填写 阅读全文
posted @ 2020-08-25 21:32 罗斯托夫 阅读(222) 评论(0) 推荐(0)
摘要:AUFS的全称是(Advanced Multi-Layered Unification Filesystem)他是在Union File System的基础上进行完善发展而来的。其一大特点是是用branch把不同文件系统的文件和目录“透明地”覆盖,形成一个单一一致的文件系统。这些branch或者是r 阅读全文
posted @ 2020-08-23 10:01 罗斯托夫 阅读(210) 评论(0) 推荐(0)
摘要:linux namespace技术用于帮助进程隔离出自己单独的空间,但是为了对容器进行管理,还需要对每个容器的资源进行限制,保证他们不会互相争夺资源,这就需要用到linux中的Ggroups技术。 Cgroups定义 linux Cgroups(Control Groups)提供了对一组进程及将来子 阅读全文
posted @ 2020-08-23 09:31 罗斯托夫 阅读(126) 评论(0) 推荐(0)
摘要:在工作和学习中我们往往会涉及到多个docker之间内部通信或docker与宿主主机外部通信的情况,这些都是通过docker的网络设置来实现的。下面我们就来了解下docker的网络配置,以及相关设置。 docker在默认情况下有以下三种网络配置方式,在docker安装完成后也会默认进行创建: brid 阅读全文
posted @ 2020-08-22 10:02 罗斯托夫 阅读(180) 评论(0) 推荐(0)
摘要:Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose,您可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。 Compose使用的三个步骤如下: 使用Dockerfile定义环境。 使用 doc 阅读全文
posted @ 2020-08-19 13:51 罗斯托夫 阅读(176) 评论(0) 推荐(0)
摘要:docker现在可以说是Paas界的几大主流工具之一,它的大名可以说是无人不知无人不晓。为了更好的使用docker,我决定开个坑一步步的了解docker的内部原理,并利用golang开发一个简易的docker程序。下面就让我们开始进入正题。 docker是一个基于linux namespace和Cg 阅读全文
posted @ 2020-08-16 18:15 罗斯托夫 阅读(226) 评论(0) 推荐(0)
摘要:通过编写Dockerfile文件,我们可以利用docker来制作自己的镜像文件。命令格式如下: docker build -t 镜像名 dockerfile文件所在文件夹路径 -t表明后面参数是镜像的镜像名。执行完该命令就根据Dockerfile中的配置生成了我们需要的镜像文件。 Dockerfil 阅读全文
posted @ 2020-08-14 14:29 罗斯托夫 阅读(120) 评论(0) 推荐(0)
摘要:Docker安装完成后使用docker run命令来在容器内运行应用程序。举例: docker run ubuntu:15.10 /bin/echo 'HELLO WORLD' 该命令执行如下步骤: 该命令运行名为ubuntu:15.10的镜像文件,docker首先在本地查找是hello-world 阅读全文
posted @ 2020-08-14 13:10 罗斯托夫 阅读(106) 评论(0) 推荐(0)
摘要:什么是Docker Docker是一个开源工具,它可以将你的应用打包成一个标准镜像文件,并且以容器的方式运行。Docker容器将一系列软件包装在一个完整的文件系统中,这个文件系统包含应用程序运行所需的一切:代码、运行时工具、系统工具、系统依赖,几乎所有可以安装在服务器上的东西。这些策略保证了容器内应 阅读全文
posted @ 2020-08-13 10:18 罗斯托夫 阅读(168) 评论(0) 推荐(0)