随笔分类 -  自动化工具栈基础及实践

ansible/saltstack/jenkins/gitlab等等
Terrorform-自动化创建EKS集群
摘要：需求： 当团队DevOps人数比较多或者外部团队申请EKS集群已经成为日常工作一部分，决定将这个过程通过Terrorform自动化进行创建，可追溯和减少手动操作的黑洞。 目标：1.提高自动化覆盖率。2.提高团队规范化创建流程 实现方式：Terrorform 代码整理中.... 阅读全文
posted @ 2025-11-23 14:52 meijinmeng 阅读(5) 评论(0) 推荐(0)
Tefrorform-自动化创建IAM
摘要：需求： 当团队DevOps人数比较多或者外部团队申请IAM权限已经成为日常工作一部分，决定将这个过程通过Terrorform自动化进行创建，可追溯和减少手动操作的黑洞。 目标：1.提高自动化覆盖率。2.提高团队规范化创建流程 实现方式：Terrorform 代码整理中.... 阅读全文
posted @ 2025-11-23 14:50 meijinmeng 阅读(7) 评论(0) 推荐(0)
Terrorform-自动化配置AWS EC2
摘要：1.需求： 当团队DevOps人数比较多或者外部团队申请EC2实例已经成为日常工作一部分，决定将这个过程通过Terrorform自动化进行创建，可追溯和减少手动操作的黑洞。 2.目标： 1.提高自动化覆盖率 2.提高团队规范化创建流程 3.实现方式：Terrorform 4.目录结构如下 5.实现代 阅读全文
posted @ 2025-11-23 14:49 meijinmeng 阅读(5) 评论(0) 推荐(0)
Terrorform-自动化配置AWS Route53
摘要：待整理中 阅读全文
posted @ 2025-11-23 14:44 meijinmeng 阅读(3) 评论(0) 推荐(0)
Monit-基于非容器服务自恢复程序实践
摘要：1.需求：因为历史原因和软件程序原因，有上百台服务和所在服务未运行在容器中，需要在程序奔溃自动拉起(以Java Python C++为主)。 2.目的：能够非人为干预快速自动恢复，要求检测频率在10s一次 3.实现方式 3.1 根据不同语言自己开发脚本实现自动拉起和通知(不够标准化-弃用) 1 #! 阅读全文
posted @ 2025-11-23 14:35 meijinmeng 阅读(33) 评论(2) 推荐(0)
基于Prometheus-实现AWS EC2的实例异常自动重启
摘要：1.需求：1.当成千上百台EC2实例异常需要花费大量时间去重启 2.EC2自我恢复时间较长，需要认为干预 3.发生重启和重启成功后告警提示，给故障预留充分证据。 2.目标：1.提升EC2自我恢复能力。2.降低人工运维效率 3.重启前提条件： log " - Prometheus 故障检测 + 60秒 阅读全文
posted @ 2025-11-23 14:15 meijinmeng 阅读(6) 评论(0) 推荐(0)
基于Github Action 配置Java Python Go. Rust Nodejs C++ 实现自动发布功能(不基于Jenkins的快速敏捷发布体系)
摘要：需求：基于Github Action 配置Java Python Go. Rust Nodejs C++ 实现自动发布功能。 目标：基于Github+Argocd实现不基于Jenkins的快速敏捷发布体系，覆盖服务为：容器+非容器服务。 实现思路：容器基于github action cicd后把最新 阅读全文
posted @ 2025-11-11 00:00 meijinmeng 阅读(15) 评论(0) 推荐(0)
开源资产管理系统部署及库存告警
摘要：1.需求：对电脑，办公设备，耗材等做资产盘点和整理，并对库存预警。 2.选型：snipeit 3.部署 #!/bin/bash docker run -d -p 80:80 --name="snipeit" --env-file=snipeit.env --mount source=snipe-vo 阅读全文
posted @ 2023-12-14 15:35 meijinmeng 阅读(9) 评论(0) 推荐(0)
阿里云oss迁移到AWS S3
摘要：这里写自定义目录标题 0.项目背景1.rclone 方式2.rsync方式3.注意 0.项目背景 公司迁移要求：从阿里云oss到亚马逊s3，数据量大概500G-2T左右。 开启阿里云oss 加速模式，这样能够跨机房和区域加速。 主要采用以下两种方式同步数据，根据每个公司情况自行选择即可。 1.rcl 阅读全文
posted @ 2023-11-06 18:12 meijinmeng 阅读(48) 评论(0) 推荐(0)
Ansible 优化执行效率的建议
摘要：背景 以前在公司工作处理服务器问题，需要用批量操作都是用shell脚本编写的工具，后来发现Ansible这个自动化工具，安装简单，操作起来很方便，支持多个模块，由python开发基于SSH协议通信的工具。这里有个问题就是如果服务器越来越多，Ansibe执行效率会变得比较慢，可以通过优化Ansible 阅读全文
posted @ 2021-07-23 16:35 meijinmeng 阅读(14) 评论(0) 推荐(0)
Saltstack 从入门到使用实战
摘要：1.saltstack安装配置及测试 一.安装部署 1.Master端： yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest.el7.noarch.rpm yum clean expire-cache && yum u 阅读全文
posted @ 2021-05-12 21:20 meijinmeng 阅读(11) 评论(0) 推荐(0)
实战Apollo开源分布式配置中心部署与升级篇
摘要：0.Apollo架构说明 本次部署环境为DEV 开发 FAT 测试01 KANGTEST 测试02 UAT 预生产 PROD 生产 上图文字版： 环境 服务器 服务 端口 DEV 192.168.1.169 Apollo-configservice Apollo-adminservice 8080 阅读全文
posted @ 2021-02-27 16:43 meijinmeng 阅读(0) 评论(0) 推荐(0)
Jenkins之 批量添加用户到指定视图下所有job的相关权限
摘要：1.需求:添加用户权限要耗费大量时间还没有成效，于是想着利用Jenkins API进行批量添加用户权限。 2.局限:仅适用于新添加，不适用于修改更新已有权限。 3.代码如下： #!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2020/11/1 阅读全文
posted @ 2020-11-16 15:25 meijinmeng 阅读(0) 评论(0) 推荐(0)
Python之操作Jenkins 实现批量复制和批量添加Job到新的视图
摘要：1.需求：新增一套环境的时候，几十个Job如何快速复用到另外一个视图中? 2.实现思路：批量复制Job，并批量把新建Job加入到新的视图中。 3.批量创建job #-*- coding: utf-8 -*- import jenkins #正式使用jenkins jenkins_server_url 阅读全文
posted @ 2020-01-10 11:36 meijinmeng 阅读(0) 评论(0) 推荐(0)
Jekenins之发布后台微服务到自建k8s集群和云容器引擎(1)
摘要：1.前提 .有独立的Jenkins 服务器。 .有独立的k8s集群节点，并且已经部署好镜像私库registry或者Harbor。 .代码已经改造为微服务并支持容器。 .最好有注册中心eureka/apollo等。 .将前端gateway 域名的后端地址改为容器的nodeport开放的地址。 #这样就 阅读全文
posted @ 2020-01-09 16:41 meijinmeng 阅读(0) 评论(0) 推荐(0)
IOS Jenkins CICD- xcode-fastlane打包上传蒲公英或者Appstore
摘要：1.基础准备 蒲公英账号 Apple开发者账号 Ruby/brew MAC系统更新到最新 Xcode与开发保持一致10.1 rvm 来下载Fatalane 2.12.x以上 Jenkins 2.150.1 蒲公英插件pgyer(可以安装，也可直接用蒲公英Linux命令上传) Brew 来下载 coc 阅读全文
posted @ 2020-01-08 11:05 meijinmeng 阅读(4) 评论(0) 推荐(0)
安卓-CICD Jenkins-加固-上传蒲公英
摘要：1.基础环境 Android SDK r24(项目未设置NDK) gradle 4.1-6.4(打包工具) 360加固账号 蒲公英账号 Jenkins已经部署安装好 2.配置编译打包步骤 注意：这里主要是修改build.gradle 配置和添加local.properties 文件到代码中,具体是根 阅读全文
posted @ 2020-01-07 21:43 meijinmeng 阅读(6) 评论(0) 推荐(0)
Sonarqube代码测试与Jenkins集成使用
摘要：1.需要软件 Sonarqub6.5 Sonar-scanner Jenkins( Java8+ , maven, 如果用到安卓还需要集成gradle) 2.配置安装 **(1).Sonarqub6.5需要mysql的jdbc** 所以需要一个本地或者远程的sonarqub的数据库，配置在conf下 阅读全文
posted @ 2020-01-07 15:42 meijinmeng 阅读(0) 评论(0) 推荐(0)
python 查询数据库并将结果以EXCEL附件 ---批量发送给邮箱
摘要：1.需求：产品经常需要我们部门导出数据，以供他查看。 2.实际：只是一些重复性的操作，写一个脚本导出批量发送即可。 3.记录状态，并监控。 4.优化如果数据库查出无数据，则不创建附件，仅发送邮件通知即可。 5.优化某些列的值为用python取出是datetime类型，但写入excel后变成了floa 阅读全文
posted @ 2019-12-13 14:48 meijinmeng 阅读(0) 评论(0) 推荐(0)