陌上花开

摘要： 1、从AMI启动一个实例 2、检测安装ssm agent 3、更新软件包 4、停止实例 5、根据实例创建一个新的AMI镜像 6、终止实例 以上流程完全可以通过ssm 中 Automation 的 AWS-UpdateLinuxAmi 文档搞定。但是在运行过程中一直遇到权限问题（完全按照aws 文档操 阅读全文

摘要： 公司服务部署架构：gitlab+jenkins+自己开发的运维管理平台+consul+aws ec2（cloudformation 进行云资源配置管理） 阅读全文

摘要： 在协议兼容的情况下，先挨个升级服务端节点，完毕后，再同样操作升级客户端：1、线上正在运行版本Consul v0.6.4 ，计划升级版本Consul v1.2.32、首先把Consul v1.2.3上传到每个节点服务上3、关闭Consul v0.6.4 版本，使用 -raft-protocol=2 启 阅读全文

摘要： #coding:utf8 import boto3 import xlwt lambda_client = boto3.client('lambda',region_name = 'cn-north-1') workbook = xlwt.Workbook() sheet1 = workbook.add_sheet('sheet1',cell_overwrite_ok=True) shee... 阅读全文

摘要： $ brew cask install chromedriver ==> Satisfying dependencies ==> Downloading https://chromedriver.storage.googleapis.com/2.45/chromedriver_mac64.zip ##################################################... 阅读全文

摘要： 一、beanstalk部署1、创建两个存储桶sengled-bucket-reliabilityops-backuptempsengled-bucket-reliabilityops-kinesis2、配置glue1）创建数据库：只填写名称即可，不需要填写位置信息2）配置爬网程序：主要填写名称、数据 阅读全文

摘要： 1、数据存放1）每个PutRecords请求最多可支持500条记录。2）请求中的每条记录可以大到1 MiB，整个请求的最大限制为5 MiB，包括分区键。3）每个分片可以支持每秒最多1,000条记录的写入，最大数据写入总量为每秒1 MiB。 2、数据处理1）每个分片均提供 2 MiB/秒的读取吞吐量。 阅读全文

摘要： 1、定时任务 # crontab -l 1 3 * * * bash /usr/local/redmine/backup/redmine_backup.sh 2、备份脚本 #!/bin/bash mysqldump -u username -p'password' redmine > /usr/local/redmine/backup/redmine_`date +%y_%m_%d-%H:... 阅读全文

摘要： #!/bin/bash cat > /etc/ecs/ecs.config ECS_CLUSTER=MyCluster ECS_ENGINE_AUTH_TYPE=docker ECS_ENGINE_AUTH_DATA={"https://index.docker.io/v1/":{"username":"my_name","password":"my_password","email":"ema... 阅读全文

摘要： 背景： 大量falcon 监控数据打到kinesis，然后把kinesis内的数据以json格式实时备份到s3上（临时备份），为了降低成本，减少S3空间占用以及后期数据分析，计划把s3上的json文件转储成parquet文件。 使用服务：glue(脚本作业)+lambda（定时触发glue脚本）+c 阅读全文