随笔分类 - AWS
摘要：from awsglue.context import GlueContext from awsglue.dynamicframe import DynamicFrame from pyspark.context import SparkContext from pyspark.sql.functi
阅读全文
posted @ 2020-10-16 16:19
慕沁
摘要：# 在Job内创建临时表解决from awsglue.context import GlueContext from pyspark.context import SparkContext sc = SparkContext() glueContext = GlueContext(sc) spark
阅读全文
posted @ 2020-10-16 13:05
慕沁
摘要：优势 服务器、无服务器和容器应用程序 自动部署 最大程度减少停机时间 停止并回滚 集中控制 易于采用 并发部署 部署配置https://docs.aws.amazon.com/zh_cn/codedeploy/latest/userguide/deployment-configurations.ht
阅读全文
posted @ 2020-06-06 18:48
慕沁
摘要：pip install requests -t . zip -r9 python-requests.zip ../python# python的文件夹
阅读全文
posted @ 2020-06-05 09:42
慕沁
摘要：cfn-init 帮助程序脚本读取来自AWS::CloudFormation::Init秘钥的魔板元数据并进行响应操作 1、提取和解析来自AWS CloudFormation的元数据 2、安装软件包 3、将文件写入磁盘 4、启用、禁用 以及启动、停止服务 https://docs.aws.amazo
阅读全文
posted @ 2020-06-02 21:38
慕沁
摘要：Treminating Wait > Procced 期间 可以做一些事情 例如： 将日志上传到S3. 取消注册。生命周期钩子Wait的时间默认是1小时;也可以通过put-lifecycle-hook进行更改； > 最长可以是24hhttps://docs.aws.amazon.com/zh_cn/
阅读全文
posted @ 2020-06-02 20:50
慕沁
摘要：EC2配置 1、在EC2运行daemon curl https://s3.us-east-2.amazonaws.com/aws-xray-assets.us-east-2/xray-daemon/aws-xray-daemon-3.x.rpm -o /home/ec2-user/xray.rpm
阅读全文
posted @ 2020-06-02 10:52
慕沁
摘要：IAM策略构成 Version, 2012-10-17,还有2018。。。 两个版本 ID, Statement, Sid, Effect, Deny;Allow Principal, Not Principal, Action, Not Action, Resource, Not Resource
阅读全文
posted @ 2020-05-31 13:14
慕沁
摘要：ASG伸缩指标 option_settings: aws:autoscaling:trigger: MeasureName: CPUUtilization Statistic: Average Unit: Percent Period: '2' EvaluationPeriods: '3' Uppe
阅读全文
posted @ 2020-05-21 17:51
慕沁
摘要：{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "NotAction": [ "iam:*", "organizations:*", "account:*" ], "Resource": "*" }, { "Effect"
阅读全文
posted @ 2020-05-21 09:35
慕沁
摘要：分区键，决定数据怎么分布 ，类似不同的桶（必须指定），指定可以节省查询时间 ，随着数据量增大，可以很好的扩展 排序建，当设计该键的排序的时候，可以优化查询能力，（非必须） 1、表的分区字段 2、表的排序字段 1写容量单位 1kb/s1读容量单位 4kb/s 如果设为最终一致性， 按 8KB/s 总的
阅读全文
posted @ 2020-03-18 11:37
慕沁
摘要：codebuild+ecs+ecr+s3+ssm 1、准备工作 1.1、s3存储桶 1.1.1、上传带有buildspec.yml的zip包 1.2、ecr私有仓库 1.2.1、上传基准镜像 2、创建codebuild 对codebuild角色添加权限 运行结果 3、ecs 3.1、创建集群 3.2
阅读全文
posted @ 2019-11-22 17:35
慕沁
浙公网安备 33010602011771号