随笔分类 - 运维&环境
测试需要的运维知识
摘要：背景 最近要使用django开发测试平台，指定了Python3.8作为Python开发环境，而Linux系统上自带的Python版本为Python3.5，因此需要做下Python版本升级。 升级过程 1）下载Python3.8安装包 wget https://www.python.org/ftp/p
阅读全文
摘要：前言 MySQL数据库是一种关系数据库管理系统，支持数据库标准的SQL语言。MYSQL具有体积小、速度快、总体拥有成本低。MYSQL社区版提供了源码开放，随着WEB应用越来越多，MYSQL基本上成为了RDBMS的首选。公司内部很多项目都使用到了MYSQL数据库，这里对分享一下CentOS系统下关于M
阅读全文
摘要：前言 本篇文章将演示如何利用docker快速搭建postgresql数据库，并提供了一键安装脚本用于快速安装。 脚本 脚本列表 start_docker_postgres.sh：一键安装脚本 pg_hba.conf：postgresql的访问限制配置文件 postgresql.conf：postgr
阅读全文
摘要：简介 etcd分为etcd2和etcd3版本，两个版本之间的api相互不兼容，现在大多数公司都在使用etcd3版本，本文也以etcd3作为演示对象。 etcdctl工具etcd附带的命令行工具，可以很方便的对etcd中的数据进行管理。 etcdctl有两个版本：v2和v3，可以分别使用如下方式来设置
阅读全文
摘要：前言 部署某环境的时候，我使用ansible的unarchive模块解压某xx.tar.gz文件报错： "msg": "Failed to find handler for \"/tmp/xxx.tar.gz\". Make sure the required command to extract
阅读全文
摘要：前言 Chrome插件有：extension,app,NaCl(Native Client),PNaCl(Portable Native Client)等。 当前Chrome主要使用的是extension，其文件扩展名为crx。 安装插件方法 下载crx插件 重命名crx为zip扩展名 打开谷歌的e
阅读全文
摘要：背景 公司使用clickhouse作为其时序分析数据库，在上线前需要对Clickhouse集群做一个性能基准测试，用于数据评估。这里我搭建了三节点的集群，集群采用三分片单副本的模式（即数据分别存储在三个Clickhouse节点上，每个Clickhouse节点都有一个单独的副本，如下图： 具体的搭建方
阅读全文
摘要：背景 前文简单介绍了下Clickhouse的安装和客户端使用，在实际生产环境中，Clickhouse常常是以集群模式部署的，由于很多系统不满足sse4.2指令，这里使用docker来搭建一个Clickhouse的集群。 1. 环境说明 1.1 机器列表 机器名 IP 配置 操作系统 部署的服务 备注
阅读全文
摘要：背景 公司的项目中使用到了Clickhouse，在该时序数据库安装完后，需要对业务使用到的相关表进行初始化。开发提供了一份建表的sql文件，这里我需要执行该sql文件进行初始化即可。这里我使用到了Clickhouse的原生命令行客户端：Clickhouse-client，用于快速导入。 安装clic
阅读全文
摘要：背景 最近公司要做一个测试平台，主要功能涉及了产品，开发和测试三方的业务联动。其实在业界已经有了很多类似的开源平台，例如阿里的云效，腾讯的tapd，还有很多其他的云测试平台。由于涉及到公司的信息安全问题，公司内部希望能够自研一款对内的测试平台，解决产研测一体化的问题。通过对市面上各种竞品调研，最终选
阅读全文
摘要：引言 本文旨在介绍如何在Linux使用Docker快速搭建一个MYSQL环境，用于日常的开发调试，有需要的朋友可参考一下。 配置MYSQL 1) 创建mysql配置目录 #创建配置目录 mkdir -p /etc/mysql/conf.d/#创建数据和日志目录mkdir -pv /opt/mysql
阅读全文
摘要：背景 前面文章分享了如何安装kuiper和kuiper-manager，本篇文章通过一个完整的例子来演示kuiper的一个比较完整的流式计算。 下图仍旧使用了kuiper官网文档中的图，我在里面稍微加了一些注释： 流式计算创建操作过程 kuiper的流式计算创建于操作分为如下几个步骤： 使用命令行/
阅读全文
摘要：什么是kuiper EMQ X Kuiper 是 Golang 实现的轻量级物联网边缘分析、流式处理开源软件，可以运行在各类资源受限的边缘设备上。Kuiper 设计的一个主要目标就是将在云端运行的实时流式计算框架（比如 Apache Spark，Apache Storm 和 Apache Flink
阅读全文
摘要：背景 最近在做物联网平台性能分析，最终选择EMQX作为对比对象。我小试牛刀地搭建了一下EMQX，并顺便安装了一下EMQX的Dashboard插件：emqx-dashboard。 简介： EMQX：EMQ X (Erlang/Enterprise/Elastic MQTT Broker) 是基于 Er
阅读全文
摘要：背景 emqx中使用到了erlang作为其运行前提，为了编译相关插件，这里分享下如何在cento7下安装erlang。 安装方式 erlang两种主流安装方式： 1. 源码安装：http://erlang.org/download/otp_src_23.2.tar.gz 2.软件包管理器安装 For
阅读全文
摘要：背景 编译EMQX插件依赖了git的版本，需要使用1.8.5以上的版本，但是我系统（centos7）中的版本为1.8.3，不符合版本要求，如下图 安装过程 1. 卸载旧版本 yum -y remove git 2. 安装依赖 sudo yum install -y curl-devel expat-
阅读全文
摘要：问题 在项目中我写了个编译打包的脚本，会拉取gitlab上工程的代码进行编译，然后上传到产品服务器。其中有一次git pull去拉取gitlab上工程代码报错了： ssh_exchange_identification: Connection closed by remote host fatal:
阅读全文
摘要：背景 公司的项目中使用了postgresql（简称pg）作为其数据库管理系统，前两天环境突然崩溃了，页面无法打开。经过排查，我发现是数据库所在机器磁盘满了，通过目录和文件排序，原来是pg的日志太多（大约保留了大半年的日志在磁盘上没有被清理）。 我看了下pg的日志配置，发现基本都是用的默认配置，日志滚
阅读全文
摘要：背景 前面RocketMQ系列中分享了如何在机器上搭建rocketmq，其中nameserver和broker都是以nohup的方式启动。在实际运维过程中，这种启动存在一个比较麻烦的问题：比如机器宕机后，重新启动机器，broker和namserver服务无法自动随开机拉起，还需要我们登陆到每台机器上
阅读全文
摘要：引言 本文介绍如何在无法访问国外网络的情况下，在Ubuntu上安装kubectl。 安装步骤 1. 更新源 sudo apt update 2. 添加apt密匙 apt-key add apt-key.gpg 3.添加k8s国内的源 cat <<EOF >/etc/apt/sources.list.
阅读全文
浙公网安备 33010602011771号