随笔分类 - python 运维开发
摘要：一、概述 已经写好了一个Django项目，需要将这个项目用docker封装一个镜像，使用k8s发布！ 在封装并运行的过程中，发现了很多问题，这里会一一介绍！ 二、时区问题 采用的是镜像是 ubuntu:16.04 默认的时区是UTC，比中国时间，晚了8个小时！ 那么因此，需要将默认的时区给覆盖掉！
阅读全文
摘要：一、概述 线上有一套k8s集群，部署了很多应用。现在需要对一些基础服务做一些常规检测，比如： 系统时间，要求：k8s的每一个节点的时间，差值上下不超过2秒 k8s版本，要求：k8s的每一个节点的版本必须一致 redis集群，要求：1. 查看cluster nodes状态 2. AOF状态 etcd，
阅读全文
摘要：一、概述 Linux 内核（以下简称内核）是一个不与特定进程相关的功能集合，内核的代码很难轻易的在调试器中执行和跟踪。开发者认为，内核如果发生了错误，就不应该继续运 行。因此内核发生错误时，它的行为通常被设定为系统崩溃，机器重启。基于动态存储器的电气特性，机器重启后，上次错误发生时的现场会遭到破坏，
阅读全文
摘要：一、分析 需求 Grafana支持短信渠道报警 要求 使用开发提供的短信API接口 请求url： 这个是java项目开发的api，请求方式为POST 如果要增加多个手机号码，使用逗号隔开 使用shell脚本的发送命令为： 逻辑 1. 在Grafana添加短信报警方式 2. 在相关图表中应用短信报警
阅读全文
摘要：一、需求分析 在上一篇文章，链接如下： https://www.cnblogs.com/xiao987334176/p/10237551.html 已经得到了需要的数据，现在需要对这些端口做检测，判断端口是否正常！ 实际情况是，有上百个端口需要检测。如果一个个检测，可能需要花费几分钟的时间，效率不够
阅读全文
摘要：一、需求分析 Kubernetes endpoints api地址 services api地址 下面主要展示 endpoints api的部分数据 { "kind": "EndpointsList", "apiVersion": "v1", "metadata": { "selfLink": "/
阅读全文
摘要：一、概述 在实际的项目中很多时候需要用到下载功能，如导excel、pdf或者文件下载，当然你可以使用web服务自己搭建可以用于下载的资源服务器，如nginx，这里我们主要介绍django中的文件下载。 前端实现方式 a标签+响应头信息 注意：这里的1指的是MySQL表的主键id 后端实现方式 使用d
阅读全文
摘要：一、压缩 需求描述 现在有一个目录，需要将此目录打包成tar.gz文件。因为有一个Django项目，需要用到此功能！ tar.gz 目录结构如下： packing.py 是python程序，需要将folder目录打包成tar.gz文件 packing.py 内容如下： 注意： 空子目录会被打包，如果
阅读全文
摘要：一、如何查看 在老版本中，使用kafka-run-class.sh 脚本进行查看。但是对于最新版本，kafka-run-class.sh 已经不能使用，必须使用另外一个脚本才行，它就是kafka-consumer-groups.sh 普通版 查看所有组 要想查询消费数据，必须要指定组。那么线上运行的
阅读全文
摘要：一、介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。 安装API 建立es连接 无用户名密码状态 默认的超时时间是10秒，如果数据量
阅读全文
摘要：一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk
阅读全文
摘要：一、Kafka 拓扑结构 一个典型的Kafka 集群中包含若干Producer（可以是web 前端产生的Page View，或者是服务器日志，系统 CPU、Memory 等）， 若干broker（Kafka 支持水平扩展，一般broker 数量越多，集群吞吐率越高）， 若干Consumer Grou
阅读全文
摘要：一、Zookeeper原理简介 ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Zookeeper设计目的 最终一致性：client不论连接到那个Server，展示给它的都是同一个视图。 可靠性：具有简单
阅读全文
摘要：一、场景 线上已经有kafka集群，服务运行稳定。但是因为产品升级，需要对kakfa做安全测试，也就是权限验证。 但是增加权限验证，会不会对性能有影响呢？影响大吗？不知道呀！ 因此，本文就此来做一下对比！ 测试环境 本文使用的是单机kafka测试，仅在一台服务器做测试。 使用的kafka版本为kaf
阅读全文
摘要：一、测试目的 本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据10w、100w和1000w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。（该项目期望Kafka能够处理上亿级别的MQ消息） 二、
阅读全文
摘要：一、安装filebeat 简介 Beats 是安装在服务器上的数据中转代理。 Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash 。 Beats 有多种类型，可以根据实际应用需要选择合适的类型。 常用的类型有： Packetbeat：网络数据包分析器，提供有关您
阅读全文
摘要：一、概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk
阅读全文
摘要：一、YAML 基础 YAML是专门用来写配置文件的语言，非常简洁和强大，使用比json更方便。它实质上是一种通用的数据串行化格式。后文会说明定义YAML文件创建Pod和创建Deployment。 YAML语法规则： 大小写敏感 使用缩进表示层级关系 缩进时不允许使用Tal键，只允许使用空格 缩进的空
阅读全文
摘要：一、简介 自0.9.0.0.版本引入Security之后，Kafka一直在完善security的功能。当前Kafka security主要包含3大功能：认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client到broker
阅读全文
摘要：一、Docker网络基本原理 直观上看，要实现网络通信，机器需要至少一个网络接口（物理接口或虚拟接口）与外界相通，并可以收发数据包；此外，如果不同子网之间要进行通信，需要额外的路由机制。 Docker中的网络接口默认都是虚拟的接口。虚拟接口的最大优势就是转发效率极高。这是因为Linux通过在内核中进
阅读全文
浙公网安备 33010602011771号