日志服务之数据清洗与入湖
简介
本场景将提供日志服务SLS Project和对象存储OSS。通过本教程的操作，您可以使用日志服务接入NGINX模拟数据，通过数据加工对数据进行清洗并归档至OSS中进行存储。
云起实验室日志服务体验
（活动期完成有机会参与100%中奖）：https://developer.aliyun.com/adc/series/activity/sls-1
背景知识
本场景主要涉及以下云产品和服务：
● 日志服务（SLS）
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。
● 对象存储OSS
阿里云对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%，服务设计可用性不低于99.99%。具有与平台无关的RESTful。
接入NGINX模拟数据
本步骤将指导您如何使用日志服务接入NGINX模拟数据。
- 双击打开虚拟桌面的Firefox ESR浏览器。
- 在RAM用户登录框中单击下一步，并复制粘贴页面左上角的子用户密码到用户密码输入框，单击登录。
- 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
- 在日志服务控制台下方的Project列表中，选择Project资源所在地域，然后单击Project名称。
说明 ：您可以在云产品资源列表中查看Project资源所在地域和Project名称。
- 在日志存储页面左侧，单击日志库下的
图标。
- 在创建Logstore对话框中，输入Logstore名称，打开WebTracking开关，然后单击确定。
参数说明：
- Logstore名称：输入target。
- WebTracking：打开WebTracking开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
- 在创建成功对话框中，单击取消。
- 在日志存储页面左侧，选择日志库>target>数据接入>模拟接入，然后单击
图标。
- 在快速接入面板中，单击NGINX访问日志下的模拟。
- 在模拟接入页面，单击开始导入。
- 在模拟接入页面，等待大约一分钟，模拟数据生成后，单击开始使用。
返回如下页面，您可以看到生成的NGINX模拟数据。
创建数据加工
本步骤将指导您如何创建数据加工，将status字段不为200的请求日志存储到目标库中，并查看目标库日志。
- 在日志存储页面左侧，单击日志库下的
图标。
- 在创建Logstore对话框中，输入Logstore名称，打开WebTracking开关，然后单击确定。
说明 ：该Logstore用来status字段不为200的请求日志。
参数说明：
- Logstore名称：输入target-1。
- WebTracking：打开WebTracking开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
- 在创建成功对话框中，单击取消。
- 在日志存储页面左侧，单击target-1。
- 在错误对话框中，单击确定。
- 在target-1页签右上方，单击开启索引。
- 在查询分析面板中，打开全文索引，单击确定。
- 在查询分析设置对话框中，单击确认。
- 在target-1页签左侧，单击target。
- 在target页签，单击数据加工。
- 在target数据加工页签，输入如下加工语句，单击保存数据加工。
e_drop(e_search("status:200"))
- 在创建数据加工规则面板，输入规则名称，单击添加，然后配置存储目标，时间范围选择为某时间，单击确定。
参数说明：
- 规则名称：自定义规则名称，例如nginx-data-cleaning。
- 目标名称：存储目标的名称，输入target-1。
- 目标Region：选择您的Project资源所在地域。
- 目标Project：选择您的Project名称。
- 目标库：选择target-1。
- 时间范围：选择某时间开始。
- 在创建结果对话框中，单击确认。
- 在target页签左侧，单击target-1。
- 在target-1页签右上方，单击查询/分析。
返回如下页面，您可以看到在目标库target-1中的日志，只有status字段非200的日志。
日志投递
本步骤将指导您如何将数据加工后的日志投递到对象存储OSS。
- 在target-1页签页面左侧，选择日志库>target-1>数据处理>导出>OSS（对象存储）。
- 在OSS投递管理页签，单击开启投递。
- 在投递提示对话框中，单击直接投递。
- 在OSS投递功能对话框中，参考如下配置，其他配置保持默认即可，单击确定。
参数说明：
- OSS投递名称：自定义OSS投递名称，例如test。
- OSS Bucket：输入Bucket Name。您可以在云产品资源列表中查看到Bucket Name。
- 在投递提示对话框中，单击确认。
- 在OSS投递管理器页签，稍等三分钟并刷新页面，您可以看到如下图页面，表示您已成功将数据加工后的日志投递到对象存储OSS。
- 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问对象存储OSS控制台。
https://oss.console.aliyun.com/overview
- 在左侧导航栏中，单击Bucket列表。
- 在Bucket列表页面，找到您的Bucket名称，单击Bucket名称。
返回如下页面，您可以看到您的Bucket中有一个文件夹，文件夹中就存储着数据加工后的日志。
