OSS生命周期管理与访问行为分析
实验场景描述
小浩公司业务系统部署在阿里云ECS上,系统在日常生产过程中产生大量的日志文件,为了避免过度占用服务器磁盘空间且满足合规,小浩决定将应用日志文件存储在OSS上,为了节省成本对日志文件进行生命周期配置,同时,公司静态资源文件也托管在OSS上,为了分析其访问行为及进行异常的监控,通过CloudLens for OSS接入目标Bucket进行监控统计。
本实验考试将重点考核以下内容:
-
是否能够通过OSS控制台设置生命周期规则,并根据数据分层转换为不同的存储类型;
-
是否能够通过OSS控制台完成文件的上传,目录的创建以构造对OSS的访问行为;
-
是否能够通过云监控控制台查看对OSS资源的监控以及对OSS资源配置报警规则;
-
是否能够通过消息服务MNS控制台创建针对OSS资源事件的规则,并进行事件通知;
-
是否能够通过OSS控制台开启日志转存功能,以记录访问OSS的过程中会产生大量的访问日志;
-
是否能够通过OSS控制台开始实时日志查询,并能够在OSS控制台直接查询OSS的访问日志;
-
是否能够通过SLS控制台开通CloudLens for OSS,构建对OSS的可观测能力,掌握OSS的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等能力;
-
是否能够通过CloudLens for OSS控制台中的告警管理中创建对OSS资源的告警规则,并模拟出发告警,产生告警短信等。
-
在实验室页面右侧,单击
图标,切换至远程桌面。
-
点击桌面Chromium Web Browser图标,打开浏览器会自动打开阿里云RAM用户登录页面。
说明:浏览器如果未自动打开阿里云RAM用户登录页面,可通过浏览器手动输入RAM用户登录URL: https://signin.aliyun.com/login.htm#/main
-
通过子用户名称和子用户密码完成RAM用户登录。
说明:您可以通过实验室左侧导航栏,点击云产品资源,即可获取子用户名称和子用户密码。
-
登录日志服务控制台,进入SLS控制台主页,找到日志应用-云产品Lens-CloudLens for OSS 。
https://sls.console.aliyun.com/
-
单击上图红框ClouLens for OSS, 首次使用会弹出授权页面,进行开启授权。
-
点击立即开启按钮后弹出如下页面,选择存储地域,日志服务自动在指定地域创建专属Project,然后单击立即开通。
说明:日志存储地域需与OSS Bucket所在地域一致。
说明:等待1分钟左右刷新当前页,上一步骤创建的Bucket将会出现在Bucket列表页。
-
找到本实验所提供的Bucket,开启访问明细日志。
本步骤主要指导您如何使用OSS控制台进行上传文件和创建目录的操作行为。除本实验步骤外,您也可在OSS控制台中进行删除,下载等其他操作行为。
-
资源文件下载链接。
https://clouder-labfileapp.oss-cn-hangzhou.aliyuncs.com/OSS/demo.jpg
https://clouder-labfileapp.oss-cn-hangzhou.aliyuncs.com/OSS/demo.log
-
分别复制上方两个资源链接至浏览器中,进行下载。
-
demo.jpg
-
demo.log
上传静态资源和日志文件
-
登录对象存储OSS控制台,在左侧导航栏中,单击Bucket列表,找到目标Bucket。
https://oss.console.aliyun.com/home
-
找到文件管理--->文件列表菜单,单击上传文件,弹出如下页面:
-
在弹出的页面中,单击扫描文件,将静态资源文件demo.jpg上传,如下两图,完成demo.jpg的上传.
-
出现如下图代表上传成功。
-
点击文件列表后,然后单击新建目录,在新的页面中目录名中输入‘log’,并点击确定,完成目录的创建。
-
点击上传文件,然后选择指定目录,并在输入框中输入‘log’,然后单击扫描文件按钮,上传文件,如下图所示。
-
点击扫描文件后,弹出选择文件页面,选择demo.log资源文件,最后单击文件上传,完成上传。
-
返回文件列表界面,点击‘log’目录,如下图所示,则表示上传成功。
生命周期配置
本步骤主要指导您如何使用生命以及基于生命周期的规则策略定期将存储空间(Bucket)内的多个文件(Object)转储为指定存储类型,或者将过期的Object和碎片删除,从而节省存储费用。
-
登录对象存储OSS管理控制台。
https://oss.console.aliyun.com/
-
在左侧导航栏中,单击Bucket列表。在Bucket页面,找到目标Bucket,单击Bucket名称。
-
在数据管理菜单下,找到生命周期,单击创建规则。
-
进入创建规则面板,进行配置。(按照我们示例要保存的日志文件为例,基于最后一次修改改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除进行设置)
配置参数说明如下表:
区域 |
配置项 |
说明 |
基础设置 |
状态 |
设置生命周期规则的状态,可选择启动或禁用。 |
策略 |
选择生命周期规则作用的Object。您可以选择按前缀匹配或配置到整个Bucket。 |
|
是否允许前缀重叠 |
OSS默认会检查各个生命周期规则的前缀是否重叠。 选中该条件,若某object同时匹配到两个规则,按执行优先级执行 未选中该条件若某object同时匹配到两个规则,会报错:Overlap for same action type Expiration.
|
|
前缀 |
输入规则要匹配的Object名称的前缀。 |
|
标签 |
生命周期规则仅针对拥有指定标签Object生效。例如选择了按前缀匹配,设置前缀为img,并设置标签的key为a,value为1。则该规则将匹配所有名称以img开头,标签为a=1的Object。关于对象标签的更多信息,请参见对象标签。 |
|
NOT |
NOT选项用于设置生命周期规则对指定前缀和标签的Object不生效。 |
|
文件大小 |
指定生命周期规则生效的文件大小。 重要 如果在同一条生命周期中,同时配置了指定最小文件和指定最大文件:
|
|
文件执行策略设置 |
文件过期策略 |
选择Object过期策略,可选择过期天数、过期日期和不启用。选择不启用时,文件过期策略不生效。 |
生命周期管理规则 |
配置转换Object存储类型或者删除过期Object的规则。可以基于最后一次访问时间和最后一次修改时间两种策略 |
|
碎片执行策略设置 |
碎片过期策略 |
设置对过期碎片执行的操作。如果选中了标签,则无法配置该选项。您可以选择碎片过期策略的过期天数或过期日期,也可以选择不启用碎片过期策略。当选择不启用时,碎片过期策略不生效。 重要 生命周期规则至少包含文件过期策略或碎片过期策略。 |
碎片规则 |
根据碎片过期策略选择的过期天数或过期日期设定碎片何时过期,碎片过期后会被自动删除,且删除后不可恢复。 |
-
创建完成后,在生命周期面板中可以看到刚刚创建的生命周期规则
说明:如果想修改规则,可以单击规则策略右侧编辑按钮进行修改,也可进行删除规则策略操作
生命周期配置前后验证方法
本步骤主要指导您验证生命周期规则生效前后的变化
-
登录对象存储OSS管理控制台。
https://oss.console.aliyun.com/
-
在左侧导航栏中,单击Bucket列表。在Bucket页面,找到您创建的Bucket,单击Bucket名称。
-
选择文件管理-->文件列表,找到并进入到log目录,如下图:
-
点击文件右侧的详情,进入文件详情页面。
查看到前缀为log下的文件存储类型为最初的标准存储,生命周期触发规则(示例的规则为:基于最后一次修改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除 )生效后,重复上述步骤,对比该存储类型,查看其变化。
-
登录日志服务控制台,进入SLS控制台主页,找到日志应用-云产品Lens-->CloudLens for OSS ,单击进入。
https://sls.console.aliyun.com/
-
进入CloudLens for OSS之后,接入管理如下图:
说明:
-
Bucket列表:展示管理当前阿里云账号下所有符合条件的OSS Bucket以及相关日志采集状态。
-
目标存储库:集中管理存储目标库(Project、Logstore、Metricstore)。
-
进入查询分析-->访问明细日志,得到根据条件查询出来的日志信息如下图:
说明:如果对应地域下没有开启过任意一个Bucket的访问明细日志,则需要先行开启(见上述开启访问明细日志步骤),否则无法直接查询。根据Bucker实际所在地域进行选择。
bucket:输入Bucket名称
-
进入查询分析-->计量日志,可以查询分析所有Bucket的计量数据,也可选择过滤条件。
说明:该操作步骤是为了演示计量日志的操作,用于辅助分析OSS Bucket每小时累计的计量数据,但计量日志功能存在延迟,延迟时间为几小时,该操作步骤显示若为空白属于正常现象。
bucket:输入Bucket名称
-
进入报表中心-->资源用量,可以查看存储量、带宽等核心资源的使用情况,查看存储量趋势/存储量分布/Bucket 存储量 Top20等,展示页面如下图:
-
地域:根据Bucket实际所在地域进行选择。
-
存储类型:标准存储。
-
Bucket:要查看Bucket名称。
说明:存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。
-
进入报表中心-->访问分析,了解使用行为情况,辅助产品使用和业务运营分析。
-
下滑上图页面,可以看到流量top分析、请求top分析、文件请求top20等信息。
-
进入报表中心-->安全分析,暴露不合理的配置和高危操作,给出优化建议。
-
Bucket 配置健康分析:主要针对Bucket的配置风险点提供优化建议,尽量避免可能的隐患。
说明:从下图可以看到配置健康分析中的风险类型,以及出现某类风险的Bucket数量及名称。
-
Object操作风险分析:依赖访问明细日志,展示文件删除等高危操作的执行情况。
说明:若显示无数据,则代表未触发过删除文件的操作。
创建告警
-
进入异常告警-->告警管理,进入Bucket试图的告警页面,可以针对指定的Bucket配置需要的告警规则,此处为配置删除OSS Bucket告警为例。
说明:告警名称默认为规则名称,一般保持默认即可,可以根据需要进行调整,其他默认阈值也都需要根据实际配置一个合理的值。
1.2 将静默期设置为0,然后点击行动策略中的查看配置详情,会跳转进入编辑行动策略页面。
编辑行动策略
说明:首次创建告警时,由于默认的行动策略为SLS OSS内置行动策略,该内置策略关联的用户组下默认没有用户,需要用户先创建用户加入到该用户组,同时默认的行动组只支持邮件,如果需要增加其他通知渠道也需要修改行动策略,具体操作可参考创建行动策略,也可以选择创建新的行动策略。
https://help.aliyun.com/document_detail/207709.html
-
在跳转的编辑行动策略界面中,选择渠道为短信,然后点击接收人的新增按钮,进行新增用户用于接收短信告警。
-
行动策略中我们选择的通知渠道是“短信”。
创建用户
如果用户已创建,则直接将对应用户加入用户组即可,如下:
-
进入添加用户界面,如下图所示进行配置,填写标识符、姓名、手机号,最后点击确认按钮。
-
将用户添加到用户组。首先点击用户管理旁边的标识符,选择用户组管理,进入用户组管理页面。
-
在修改用户组界面,按照如下图进行配置,然后点击确认,完成添加用户组的用户。
-
上述操作完成后,已将用户添加到用户组,并设置短信告警,需返回编辑行动策略页面,点击确认,完成行动策略的配置。
-
返回初始创建告警的标签页面,点击确认,在告警规则中显示1条告警规则,则代表完成告警配置。
在上述步骤中,配置了OSS bucket删除告警规则同时通过短信渠道报警,现在我们开始模拟删除刚刚创建的Bucket,进行触发告警,告警可以通过如下方式查看:
-
在异常检测-->告警态势中查看告警信息。
-
根据收到的短信得知触发告警。
删除Bucket操作
-
登录对象存储OSS控制台,在左侧导航栏中,单击Bucket列表,找到目标Bucket,单击进入。
https://oss.console.aliyun.com/home
-
点击左侧列表删除Bucket标签,单击删除Bucket按钮。
-
进入删除前的资源检查页面,如下图:
说明:因该Bucket下存在文件,资源检查不通过,需删除Bucket中的文件。
-
单击上图“前往删除”页面,进入文件列表,删除已上传的文件。
-
返回删除Bucket页面,点击重新检查,直至出现确认删除按钮,单击确认删除
告警结果查看
-
登录日志服务控制台,进入SLS控制台主页,找到日志应用-云产品Lens-->CloudLens for OSS ,单击进入。
-
进入日志服务CloudLens for OSS后,找到异常检测-->告警态势,因数据有延迟,需稍等片刻,可查看到删除OSS Bucket的告警。
-
手机短信通知展示。
说明:需要等待一段时间才能收到。