麦恒

摘要： 1、ZooKeeper架构 应用程序通过客户端库调用ZooKeeper。客户端库负责与ZooKeeper服务器的交互。 图2-5展示了客户端与服务器端之间的关系。每个客户端导入客户端库之后，就可以与任意一个ZooKeeper节点通信。 ZooKeeper服务器有两种运行模式：独立模式((standa 阅读全文

摘要： 分布式系统不仅能提供更强的计算能力，还能为提供更好的容灾性和扩展性。 ZooKeeper是Google的Chubby项目的开源实现，它曾经作为Hadoop的子项目，在大数据领域得到广泛应用。 ZooKeeper是一个托管到Apache软件基金会(Apache Software Foundation) 阅读全文

摘要： 1、broker端的配置参数 官方说明：https://kafka.apache.org/documentation/#configuration 1、基本配置 #此服务器的代理id。 如果未设置，将生成一个唯一的代理id。为了避免zookeeper生成的broker id和用户配置的broker 阅读全文

摘要： 参考文献：1、《深入理解Kafka-核心设计与实践原理(201901)》（第5章 日志存储） 1、文件目录布局 不考虑多副本的情况，一个分区对应一个日志(Log)。 日志分段(LogSegment)是为了防止Log过大，将Log切分为多个LogSegment，相当于一个巨型文件被平均分配为多个相对较 阅读全文

摘要： 主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为Kafka提供了可伸缩性、水平扩展的功能，还通过多副本机制来为Kafka提供数据冗余以提高数据可靠性。 从Kafka的底层实现来说，主题和分区都是逻辑上的概念： 分区可以有一至多个副本。 每个副本对应一个 阅读全文

摘要： 1、python中KafkaConsumer类 1、KafkaConsume类 class kafka.KafkaConsumer(*topics, **configs) 使用Kafka集群的记录。 消费者将透明地处理Kafka集群中服务器的故障，并在topic分区创建或在broker之间迁移时进行 阅读全文

摘要： 参考文档：https://kafka-python.readthedocs.io/en/master/index.html 1、python中KafkaProducer类 1、KafkaProducer类 class kafka.KafkaProducer(**configs) 将记录发布到Kafk 阅读全文

摘要： 1、安装kafka（单机模式） 1、部署环境 软件版本 JDK：jdk-8u291-linux-x64.tar.gz ZooKeeper：apache-zookeeper-3.5.9-bin.tar.gz kafka：kafka_2.13-2.8.0.tgz 系统环境 10.1.1.11：CentO 阅读全文

摘要： 1、kafka简介 Kafka起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache基金会。 目前Kafka是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 越来越 阅读全文

摘要： 测试数据 create database hh; use hh; create table tb1( id int primary key auto_increment, name char(15), sex enum('男','女') ); create table add2( id int pr 阅读全文

摘要： 测试数据 create database hh; use hh; create table tb1( id int primary key auto_increment, name char(15), sex enum('男','女') ); create table tb2( id int pri 阅读全文

摘要： 1、存储过程和函数 存储过程就是一条或者多条SQL语句的集合, 存储程序可以分为存储过程和函数。 创建存储过程：CREATE PROCEDURE 创建存储函数：CREATE FUNCTION 使用CALL语句来调用存储过程，只能用输出变量返回值。存储过程也可以调用其他存储过程。 函数可以从语句外调用 阅读全文

摘要： 官方文档：https://docs.docker.com/engine/reference/builder/ 1、容器化 Docker的核心思想就是如何将应用整合到容器中，并且能在容器中实际运行。 将应用整合到容器中并且运行起来的这个过程,称为“容器化"(Containerizing)，有时也叫作" 阅读全文

摘要： 1、docker网络架构 Docker网络架构源自一种叫作容器网络模型(CNM)的方案，该方案是开源的并且支持插接式连接。 Libnetwork是Docker对CNM的一种实现，提供了Docker核心网络架构的全部功能。 不同的驱动可以通过插拔的方式接入Libnetwork来提供定制化的网络拓扑。 阅读全文

摘要： 1、持久化和非持久化 docker数据主要分为两类：持久化的与非持久化的。 1、容器非持久化存储 每个Docker容器都有非持久化存储。 非持久化存储是创建容器时自动创建的，因此从属于容器，生命周期与容器相同，即删除容器也会删除全部非持久化数据。 默认情况下，非持久化存储是容器全部文件和文件系统保存 阅读全文

摘要： 1、docker容器 1、docker容器简介 容器是镜像的运行时实例。 可以从单个镜像,上启动一个或多个容器。容器会共享其所在主机的操作系统内核。 容器随着其中运行应用的退出而终止。 Linux中大部分的容器都只运行一个进程。 使用单个 Docker 镜像启动多个容器 2、docker镜像启动为容 阅读全文

摘要： 1、docker镜像的构成 镜像内部是一个精简的操作系统(OS)，同时还包含应用运行所必须的文件和依赖包。 容器的目的就是运行应用或者服务，这意味着容器的镜像中必须包含应用/服务运行所必需的操作系统和应用文件。但是，容器又追求快速和小巧，这意味着构建镜像的时候通常需要裁剪掉不必要的部，保持较小的体积 阅读全文

摘要： 1、docker引擎简介 Docker引擎是用来运行和管理容器的核心软件。 Docker引擎主要的组构成：Docker户端(Docker Client)、Docker守护进程(Docker daemon)、containerd以及runc。它们共同负责容器的创建和运行。 2、早期的docker引擎 阅读全文

摘要： 1、linux安装docker--二进制安装 1、docker依赖的环境 1、依赖环境 64 bits CPU Linux Kernel 3.10+ #不要使用centos6安装docker，因为内核版本较低，会出现各种不确定的问题 Linux Kernel cgroups and namespac 阅读全文

摘要： 1、docker简介 提到"Docker"时，可能是指如下3种概念之一。 Docker公司。 Docker的容器运行时和编排引擎。 Docker是一种运行于Linux和Windows上的软件，用于创建、管理和编排容器。 Docker开源项目(Moby) 。 Docker是在GitHub上开发的Mob 阅读全文