AWS 21 AWS_Serverless_Lambda
什么是无服务器？
•无服务器是一种新的模式，开发人员不必使用它不再管理服务器…
•他们只是部署代码
•他们只是部署……功能！
•最初。。。无服务器==FaaS（作为服务的功能）
•无服务器由AWS Lambda首创，但现在还包括任何被管理的东西：“数据库、消息、存储等等。”
•无服务器并不意味着没有服务器…这意味着你不去管理/提供/查看它们
Serverless in AWS
• AWS Lambda
• DynamoDB
• AWS Cognito
• AWS API Gateway
• Amazon S3
• AWS SNS & SQS
• AWS Kinesis Data Firehose
• Aurora Serverless
• Step Functions
• Fargate
--------------------------------------------------------------------------------------
为什么是Lambda
亚马逊EC2
•云中的虚拟服务器
•受RAM和CPU的限制
•持续运行
•扩展意味着添加/删除服务器的干预
Amazon Lambda
•虚拟功能–无需管理服务器！
•受时间限制——短时间执行
•按需运行
•自动缩放！
--------------------------------------------------------------------------------------
AWS Lambda的好处
•轻松定价：
•按请求付费和计算时间
•100万AWS Lambda请求和40万GB计算时间的免费层
•与整个AWS服务套件集成
•与多种编程语言集成
•通过AWS CloudWatch轻松监控
•每个功能易于获得更多资源（最多10GB的RAM！）
•增加RAM也将改善CPU和网络！
AWS Lambda language support
• Node.js (JavaScript)
• Python
• Java (Java 8 compatible)
• C# (.NET Core)
• Golang
• C# / Powershell
• Ruby
• Custom Runtime API (community supported, example Rust)
•Lambda容器图像
•容器映像必须实现Lambda运行时API
•ECS/Fargate是运行任意Docker映像的首选
--------------------------------------------------------------------------------------
AWS Lambda Integrations Main ones
API Gateway / Kinesis / DynamoDB / S3 / CloudFront
CloudWatch Events / CloudWatch Logs / SNS / SQS / Cognito
EventBridge
AWS Lambda定价：示例
•您可以在此处找到总体定价信息：
https://aws.amazon.com/lambda/pricing/
•按通话付费：
•前1000000个请求是免费的
•此后每100万次申请0.20美元（每次申请0.0000002美元）
•按持续时间付费：（增量为1毫秒）
•每月免费提供400000 GB的计算时间
•==400000秒（如果功能为1GB RAM）
•==3200000秒（如果功能为128 MB RAM）
•在这之后，60万GB秒的价格为1.00美元
•运行AWS Lambda通常非常便宜，因此非常受欢迎
Lambda–同步调用
•同步：CLI、SDK、API网关、应用程序负载平衡器
•立即返回结果
•错误处理必须在客户端进行（重试、指数退避等）
Lambda-同步调用-服务
•用户调用：
•弹性负载平衡（应用程序负载平衡器）
•亚马逊API网关
•亚马逊云端(Lambda@Edge)
•Amazon S3批次
•调用的服务：
•亚马逊Cognito
•AWS步进功能
•其他服务：
• Amazon Lex
• Amazon Alexa
• Amazon Kinesis Data Firehose
--------------------------------------------------------------------------------------
Lambda与ALB的集成
•将Lambda函数公开为HTTP（S）端点…
•您可以使用应用程序负载平衡器（或API网关）
•Lambda函数必须在目标组中注册
ALB to Lambda: HTTP to JSON
ELB information
HTTP Method & Path
Query String Parameters as Key/Value pairs
Headers as Key/Value pairs
Body (for POST, PUT...) & isBase64Encoded
Lambda to ALB conversions: JSON to HTTP
Status Code & Description
Headers as Key/Value pairs
Body & isBase64Encoded
ALB多头值
•ALB可支持多标题值（ALB设置）
•启用多值头、HTTP头和查询与多个值一起发送的字符串参数 as arrays
在AWS Lambda事件和响应对象。
--------------------------------------------------------------------------------------
Lambda@Edge
•您已经使用CloudFront部署了CDN
•如果您想与AWS Lambda一起经营全球业务，该怎么办？
•或者如何在到达应用程序之前实施请求过滤？
•为此，您可以使用Lambda@Edge:
在CloudFront CDN旁边部署Lambda功能
•构建响应能力更强的应用程序
•您不管理服务器，Lambda在全球部署
•定制CDN内容
•只为你使用的东西付费
Lambda@Edge
•您可以使用Lambda更改CloudFront请求和响应：
•CloudFront收到观众请求后（观众请求）
•在CloudFront将请求转发到源站之前（源站请求）
•CloudFront收到来自源站的响应后（源站响应）
•在CloudFront将响应转发给查看器之前（查看器响应）
•您还可以生成对观众的响应，而无需将请求发送到源站
Lambda@Edge: Global application
Lambda@Edge：用例
•网站安全和隐私
•边缘的动态Web应用程序
•搜索引擎优化（SEO）
•智能地跨源站和数据中心布线
•边缘的机器人缓解
•实时图像转换
•A/B测试
•用户身份验证和授权
•用户优先级
•用户跟踪和分析
--------------------------------------------------------------------------------------
Lambda – Asynchronous Invocations
Lambda–异步调用
•S3、SNS、CloudWatch活动…
•事件被放置在事件队列中
•Lambda尝试在出现错误时重试
•总共3次尝试
•第一次之后等待1分钟，然后等待2分钟
•确保处理是幂等的（在重试的情况下）
•如果重试该功能，您将在CloudWatch日志中看到重复的日志条目
•可以为失败的处理定义DLQ（死信队列）——SNS或SQS（需要正确的IAM权限）
•异步调用允许您在不需要等待结果的情况下加快处理速度（例如：您需要处理1000个文件）
Lambda-异步调用-服务
•亚马逊简单存储服务（S3）
•亚马逊简单通知服务（SNS）
•亚马逊CloudWatch活动/事件桥
•AWS CodeCommit（CodeCommitTrigger:新分支、新标签、新推送）
•AWS CodePipeline（在管道中调用Lambda函数，Lambda必须回调）
-----其他的-----
•亚马逊CloudWatch日志（日志处理）
•亚马逊简单电子邮件服务 Simple Email Service
•AWS云层形成 CloudFormation
•AWS配置
•AWS物联网 Config
•AWS物联网活动 AWS IoT Events
--------------------------------------------------------------------------------------
CloudWatch Events / EventBridge
CRON or Rate Trigger
EventBridge Rule Every 1 hour
CodePipeline Trigger on
EventBridge Rule State Changes
AWS Lambda Function
Perform a task
--------------------------------------------------------------------------------------
S3 Events Notifications
•S3:ObjectCreated，S3:ObjectRemoved，S3:ObjectRestore，S3:Replication…
•可能的对象名称筛选（*.jpg）
•用例：生成上传到S3的图像缩略图
•S3事件通知通常以秒为单位发送事件，但有时可能需要一分钟或更长时间
•如果同时对单个非版本对象进行两次写入，则为可能只发送一个事件通知
•如果要确保每次成功写入都会发送事件通知，可以在bucket上启用版本控制。
Simple S3 Event Pattern – Metadata Sync
--------------------------------------------------------------------------------------
Lambda – Event Source Mapping
•运动数据流 Kinesis---- Data Streams
•SQS和SQS FIFO队列---- SQS & SQS FIFO queue
•DynamoDB流 ---- DynamoDB Streams
•共同点：记录需要从来源处查询
•同步调用Lambda函数
Streams & Lambda (Kinesis & DynamoDB)
•事件源映射为每个碎片创建一个迭代器，按顺序处理项目
•从新项目开始，从开始或从时间戳开始
•处理过的项目不会从流中删除（其他消费者可以阅读）
•低流量：处理前使用批处理窗口积累记录
•您可以并行处理多个批次
•每个碎片最多10批
•每个分区密钥仍保证顺序处理，
Streams & Lambda – Error Handling
•默认情况下，如果您的函数返回错误，则整个批处理将被删除
重新处理，直到函数成功，或批处理中的项目失效
•为确保有序处理，受影响碎片的处理暂停，直到错误得到解决
•您可以将事件源映射配置为：
•抛弃旧事件
•限制重试次数
•错误时拆分批次（解决Lambda超时问题）
•丢弃的事件可以到达目的地
Lambda–事件源映射
SQS和SQS FIFO
•事件源映射将轮询SQS（长轮询）
•指定批量大小（1-10条消息）
•建议：将队列可见性超时设置为队列超时的6倍
Lambda函数
•使用DLQ
•在SQS队列上设置，而不是Lambda（Lambda的DLQ仅用于异步调用）
•或使用Lambda目的地处理故障
队列与Lambda
•Lambda还支持FIFO（先进先出）队列的顺序处理，
扩展到活动消息组的数量。
•对于标准队列，项目不一定按顺序处理。
•Lambda可扩展以尽快处理标准队列。
•发生错误时，批次作为单个项目返回队列
并且可能在与原始批次不同的分组中处理。
•偶尔，事件源映射可能会从排队两次，即使没有发生函数错误。
•Lambda在成功处理项目后从队列中删除项目。
•如果需要，您可以将源队列配置为将项目发送到死信队列它们不能被处理
Lambda事件映射器缩放
•Kinesis数据流和DynamoDB数据流：
•每个流碎片一次Lambda调用
•如果使用并行化，每个碎片最多可同时处理10批
•SQS标准：
•Lambda每分钟增加60多个实例以扩大规模
•同时处理多达1000批消息
•SQS FIFO：
•具有相同GroupID的邮件将按顺序处理
•Lambda功能可扩展到活动消息组的数量
--------------------------------------------------------------------------------------
Lambda–目的地 Lambda – Destinations
•2019年11月：可以配置将结果发送到目的地
•异步调用-可以定义成功和失败事件的目标：
• Amazon SQS
• Amazon SNS
• AWS Lambda
• Amazon EventBridge bus
•注意：AWS建议您现在使用目的地而不是DLQ（但两者可以同时使用）
•事件源映射：用于丢弃的事件批次
•亚马逊SQS
•亚马逊SNS
•注意：您可以直接从SQS向DLQ发送事件
--------------------------------------------------------------------------------------
Lambda执行角色（IAM角色）
•向AWS服务/资源授予Lambda功能权限
•Lambda的管理策略示例：
•AWSLambdabasiceExecutionRole–将日志上传到CloudWatch。
•AWSLambdaKinesisExecutionRole–从动觉中读取
•AWSLAMBDADynamodExecutionRole–从DynamoDB流读取
•AWSLambdasqqueExecutionRole–从SQS读取
•AWSLambdaVPCAccessExecutionRole–在VPC中部署Lambda功能
•AWSXRayDaemonWriteAccess–将跟踪数据上传到X射线。
•使用事件源映射调用函数时，Lambda使用执行角色读取事件数据。
•最佳实践：为每个函数创建一个Lambda执行角色
基于Lambda资源的策略
•使用基于资源的策略提供其他帐户和AWS服务
使用Lambda资源的权限
•类似于S3 bucket的S3 bucket策略
•IAM负责人可以访问Lambda：
•如果委托人的IAM政策授权（例如用户访问）
•或者如果基于资源的政策授权（例如服务访问）
•当像Amazon S3这样的AWS服务调用Lambda函数时
基于资源的策略为it提供了访问权限
--------------------------------------------------------------------------------------
Lambda环境变量
•环境变量=字符串形式的键/值对
•在不更新代码的情况下调整功能行为
•环境变量可用于代码
•Lambda服务还添加了自己的系统环境变量
•有助于存储机密（由KMS加密）
•机密可以通过Lambda服务密钥或您自己的CMK进行加密
--------------------------------------------------------------------------------------
Lambda测井与监测
•CloudWatch日志：
•AWS Lambda执行日志存储在AWS CloudWatch日志中
•确保您的AWS Lambda函数具有执行角色，并具有授权写入CloudWatch日志的IAM策略
•CloudWatch指标：
•AWS Lambda指标显示在AWS CloudWatch metrics中
•调用、持续时间、并发执行
•错误计数、成功率、限制
•异步交付失败
•迭代器年龄（运动和动态数据流）
• AWS Lambda metrics are displayed in AWS CloudWatch Metrics
• Invocations, Durations, Concurrent Executions
• Error count, Success Rates, Throttles
• Async Delivery Failures
• Iterator Age (Kinesis & DynamoDB Streams)
X射线Lambda追踪
•在Lambda配置中启用（活动跟踪）
•为您运行X射线守护程序
•在代码中使用AWS X-Ray SDK
•确保Lambda功能具有正确的IAM执行角色
•托管策略称为AWSXRayDaemonWriteAccess
•与X射线通信的环境变量
• _X_AMZN_TRACE_ID：包含跟踪头
• AWS_XRAY_CONTEXT_MISSING：默认情况下，日志_错误
• AWS_XRAY_DAEMON_ADDRESS：X射线守护程序IP_地址：端口
--------------------------------------------------------------------------------------
VPC 和 Lambda
•默认情况下，Lambda功能在您自己的专有网络之外启动（在AWS拥有的专有网络（VPC）
•因此无法访问VPC中的资源（RDS、ElastiCache、，内部ELB…）
VPC中的Lambda
•必须定义专有网络ID、子网和安全组
•Lambda将在您的子网中创建一个ENI（弹性网络接口）
•AWSLambdaVPCAccessExecutionRole
VPC中的Lambda–互联网接入
•VPC中的Lambda功能无法访问互联网
•在公共子网中部署Lambda功能不会为其提供互联网访问或公共IP
•在专用子网中部署Lambda功能可实现互联网 如果您有NAT网关/实例，请访问
•您可以使用VPC端点私自访问AWS服务，而无需NAT
注意：Lambda-CloudWatch日志甚至可以正常工作 没有端点或NAT网关
--------------------------------------------------------------------------------------
Lambda函数配置
•RAM：
•从128MB到10GB，增量为1MB
•添加的RAM越多，获得的vCPU积分越多
•1792 MB时，一个功能相当于一个完整的vCPU
•1792MB之后，您将获得多个CPU，并且需要在代码中使用多线程以从中获益（最多6个vCPU）
•如果应用程序受CPU限制（计算量大），请增加RAM
•超时：默认为3秒，最大为900秒（15分钟）
Lambda执行上下文
•执行上下文是一个临时运行时环境
初始化lambda代码的任何外部依赖项
•适用于数据库连接、HTTP客户端、SDK客户端…
•执行上下文会在预期的情况下保持一段时间另一个Lambda函数调用
•下一次函数调用可以“重新使用”上下文以缩短执行时间，并节省初始化连接对象的时间
•执行上下文包括/tmp目录
BAD
数据库连接已建立
每次调用函数时
GOOD
数据库连接建立一次
并在调用过程中重复使用
Lambda函数/tmp空间
•如果你的Lambda函数需要下载一个大文件才能工作…
•如果Lambda功能需要磁盘空间来执行操作…
•您可以使用/tmp目录
•最大容量为512MB
•执行上下文冻结时，目录内容仍保留，
提供可用于多次调用的临时缓存
（有助于检查你的工作）
•对于对象的永久持久性（非临时性），请使用S3
Lambda并发和节流 Lambda Concurrency and Throttling
并发限制：最多1000次并发执行
•可以在功能级别（=限制）设置“保留并发”
•每次超过并发限制的调用都会触发“节流”
•节流行为：
•如果同步调用=>return ThrottleError - 429
•如果异步调用=>自动重试，然后转到DLQ
•如果您需要更高的限额，请打开支持票
Lambda并发问题
•如果不保留（=限制）并发，可能会发生以下情况：
并发和异步调用
•如果函数没有足够的并发性来处理所有事件，则会限制其他请求。
•对于节流错误（429）和系统错误（500系列），Lambda
将事件返回到队列，并尝试再次运行该函数最多6小时。
•重试间隔从第一次尝试1秒后呈指数增长最多5分钟。
Cold Starts & Provisioned Concurrency
冷启动和资源调配并发
•冷启动：
•新实例=>加载代码，并在处理程序运行（init）之外运行代码
•如果init很大（代码、依赖项、SDK等等），这个过程可能需要一些时间。
•新实例服务的第一个请求的延迟比其他请求高
•提供的并发性：
•在调用函数之前（提前）分配并发性
•因此，冷启动永远不会发生，所有调用的延迟都很低
•应用程序自动扩展可以管理并发性（计划或目标利用率）
•注：VPC的冷启动在2019年10月和11月大幅减少
• https://aws.amazon.com/blogs/compute/announcing-improved-vpc-networking-for-aws-lambda-functions/
保留和设置并发
hqps://docs.aws.amazon.com/lambda/latest/dg/configuranon-concurrency.html
--------------------------------------------------------------------------------------
Lambda函数依赖关系
•如果Lambda函数依赖于外部库：
例如AWS X-Ray SDK、数据库客户端等…
•您需要在代码旁边安装软件包，并将其压缩在一起
•用于node.js，使用npm和“node_modules”目录
•对于Python，使用pip——目标选项
•对于Java，包括相关的.jar文件
•如果小于50MB，则直接将zip上传至Lambda，否则先上传至S3
•本地库工作：它们需要在Amazon Linux上编译
•AWS SDK默认随每个Lambda函数提供
--------------------------------------------------------------------------------------
Lambda和CloudFormation–在线
•内联函数非常简单
•使用Code.ZipFile属性
•不能将函数依赖项包含在内联函数中
Lambda和CloudFormation–通过S3
•必须将Lambda拉链存储在S3中
•您必须参考CloudFormation代码中的S3 zip位置
•S3桶
•S3Key：zip的完整路径
•S3ObjectVersion：如果对bucket进行了版本控制
•如果您更新S3中的代码，但不更新S3Bucket、S3 Key或S3 ObjectVersion，CloudFormation将不会更新您的函数
Lambda和CloudFormation–通过S3多个账户
--------------------------------------------------------------------------------------
Lambda层 Lambda Layers
•自定义运行时 custom runtime
EX:C++ https://github.com/awslabs/aws-lambda-cpp
•例如：Rust https://github.com/awslabs/aws-lambda-rust-runtime
•将依赖项外部化以重复使用它们：
Lambda容器图像
•从ECR将Lambda功能部署为高达10GB的容器映像
•将复杂的依赖项、大型依赖项打包到容器中
•基本图像可用于Python、Node.js, Java, .NET, Go, Ruby
•只要实现Lambda运行时API，就可以创建自己的映像
•使用Lambda运行时接口模拟器在本地测试容器
•构建应用程序的统一工作流
Lambda容器图像 Lambda Container Images
•示例：根据AWS提供的基础图像构建
--------------------------------------------------------------------------------------
AWS Lambda版本
•当您使用Lambda函数时，我们使用$LATEST
•当我们准备发布Lambda函数时，我们会创建一个版本
•版本是不变的
•版本数量不断增加
•版本有自己的ARN（亚马逊资源名称）
•版本=代码+配置（任何内容都不能更改-不可变）
•可以访问lambda功能的每个版本
AWS Lambda别名
•别名是Lambda函数版本的“指针”
•我们可以定义“dev”、“test”、“prod”别名，并让它们指向不同的lambda版本
•别名是可变的
•别名通过Blue / Green将权重分配给中的ambda函数
•别名可以稳定地配置我们的事件触发器/目的地
•别名有自己的ARN
•别名不能引用别名
Lambda&CodeDeploy
•CodeDeploy可以帮助您自动切换Lambda别名的流量
•功能集成在SAM框架内
•线性：每N分钟增加一次流量，直到100%
•每3分钟线性10%
•每10分钟线性10%
•金丝雀：尝试X%然后100%
•金丝雀10%5分钟
•金丝雀10%30分钟
•AllAtOnc：立即
•可以创建前后交通挂钩，以检查Lambda功能的运行状况
--------------------------------------------------------------------------------------
AWS Lambda限值-每个地区
•执行：
•内存分配：128 MB–10GB（增量为1 MB）
•最长执行时间：900秒（15分钟）
•环境变量（4KB）
•功能容器（in/tmp）中的磁盘容量：512 MB
•并发执行：1000（可以增加）
•部署：
•Lambda函数部署大小（compressed.zip）：50 MB
•未压缩部署的大小（代码+依赖项）：250 MB
•可以在启动时使用/tmp目录加载其他文件
•环境变量的大小：4KB
AWS Lambda最佳实践
•在功能处理程序之外执行繁重的工作
•连接到函数处理程序之外的数据库
•在函数处理程序外部初始化AWS SDK
•将依赖项或数据集拉入函数处理程序之外
•使用环境变量：
•数据库连接字符串、S3 bucket等……不要将这些值放入代码中
•密码、敏感值……可以使用KMS进行加密
•将部署包的大小降至运行时所需的最小。
•如果需要，则分解功能
•记住AWS Lambda限制
•必要时使用图层
•避免使用递归代码，永远不要调用Lambda函数本身
--------------------------------------------------------------------------------------
