随笔分类 - python 运维开发
摘要：一、概述 Minio支持集成prometheus，用以监控CPU、硬盘、网络等数据。 二、修改docker-compose.yaml 官方的给docker-compose.yaml，默认是不能访问metric数据的。 这里配置用是"public"类型，无身份认证。 需要在docker-compose
阅读全文
摘要：一、概述 Minio 是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，mini
阅读全文
摘要：一、概述 引言 当接口开发完成，紧接着需要编写接口文档。传统的接口文档使用Word编写，or一些接口文档管理平台进行编写，但此类接口文档维护更新比较麻烦，每次接口有变更，需要手动修改接口文档。为了改善这种情况，推荐使用Swagger来管理接口文档，实现接口文档的自动更新。 简介 Swagger：是一
阅读全文
摘要：一、概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供
阅读全文
摘要：一、概述 Cassandra是一个NoSQL数据库，具有类SQL CQL入口，基本语法与SQL保持一致。其实笔者认为 Cassandra的自带的cqlsh已经满足本的需求：如： 但是用习惯了数据库操作管理工具的同学还是希望可视化的界面。 本文以上一篇《基于Docker创建Cassandra集群》为例
阅读全文
摘要：一、概述 简介 Cassandra是一个开源分布式NoSQL数据库系统。 它最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源，此后，由于Cas
阅读全文
摘要：一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用
阅读全文
摘要：一、概述 hadoop是什么 Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Had
阅读全文
摘要：一、概述 Alertmanager是一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertmanager支持Email, Slack，等告警方式, 也可以通过web
阅读全文
摘要：一、插件安装 插件：Role-based Authorization Strategy 二、全局安全配置 进入Jenkins后点击系统管理进入全局安全配置 当插件安装好的时候，授权策略会多出一个Role-Based Strategy选项，选择该项并保存 三、管理和分配角色 在系统管理页面进入 Man
阅读全文
摘要：一、概述 job建立的特别多的时候，我们可能不太容易找到自己的某个job，这时，我们就可以在Jenkins中建立视图。job的视图类似于我们电脑上的文件夹。可以通过一些过滤规则，将已经建好的job过滤到视图中，也可以在视图中直接新建我们的job。下面以过滤job为例讲讲视图如何使用。 二、新建视图
阅读全文
摘要：一、概述 背景 Loki的第一个稳定版本于2019年11月19日发布，是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。 Grafana 对 Loki 的描述如下： Loki: like Prometheus, but for logs. Loki
阅读全文
摘要：一、概述 Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。 Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该
阅读全文
摘要：一、概述 LZMA (Lempel-Ziv-Markov chain-Algorithm) 基于著名的LZ77压缩算法改进的压缩/解压工具，特点：高压缩率，高解压速度，低内存消耗，lzma命令行工具使用方式和gzip,bzip2类似，对 已经熟悉gzip，bzip2这类工具的用户来说，上手并不难。对
阅读全文
摘要：一、概述 在上一篇文章，链接如下： https://www.cnblogs.com/xiao987334176/p/13074198.html 已经实现了基于Jenkins+Gitlab+Harbor+Rancher+k8s CI/CD，但是有一个问题，需要jenkins ssh登录到k8s mas
阅读全文
摘要：一、概述 在工作中我们会有直接想通过http方式运行Jenkins job的需求，这样就不需要每次都进入JENKINS的页面了。 二、安装python-jenkins 基本用法： 三、项目演示 本文采用 Jenkins 2.222.4，ip地址为：10.212.82.86 构建普通job 这里有一个
阅读全文
摘要：一、概述 Jenkins的Master-Slave分布式架构主要是为了解决Jenkins单点构建任务多、负载较高、性能不足的场景。Master-Slave相当于Server和Agent的概念。 Master提供web接口让用户来管理job和Slave，job可以运行在Master本机或者被分配到Sl
阅读全文
摘要：一、概述 最近上线了一个项目，运行了一个月。想知道mysql库中，哪个表最大，有多少行数据。 由于库里面有上百张表，一个个查看比较费劲。 二、查询表大小 我需要查询的库名为：kite 因此sql语句为： select table_schema as '数据库', table_name as '表名'
阅读全文
摘要：一、概述 看官网的描述Depends的使用，似乎比较懵懵懂懂的，于是乎还是需要花些时间再次学习一下关于依赖注入。 首先依赖注入它可以是函数也可以是类，如下面的函数形式的依赖注入： 简单的依赖说明 梳理一下接口请求的流程： 1： 上面的commons: dict = Depends(common_pa
阅读全文
摘要：一、概述 为啥需要跨域处理，通常我们的API一般是给到前端去调用，但是前端可能使用域名和没提供的API域名是不一样，这就引发了浏览器同源策略问题，所以我们需要做跨域请求支持。 FastAPI支持跨域的话，可以通过添加中间的形式，和bottle也有相似之处。不仅如此他还支持仅限于支持哪些域名进行跨域请
阅读全文
浙公网安备 33010602011771号