ES-ESC

ESC:Elastic Common Schema

ESC存在的价值

​ 如果对数据进行分析应用,一般情况下需要数据集中的数据有相同的格式。单实际中,数据很可能存在不一致的地方

例如:

  • 不同的数据类型
  • 或者统一数据类型来自不同的系统,数据产生了异构

假设有一个数据集,其中包含多个系统的用户信息,用户名字段可能叫:user、username、login,那这时候基于这个数据集做开发,将面临诸多问题,尤其是要增加一个数据类型,将扩展系统的复杂度。那么,我们就需要一个“统一且易扩展”的数据集:ESC。

什么是统一切易扩展呢?

​ 数据集中诸多的数据类型,肯定有相同或相似的字段,这些字段作为系统预定义字段。同时系统还提供了扩展功能,以兼容不同的数据类型。

Elastic Common Schema 是什么?

ESC是一个数据格式(数据结构),对将要采集到ES中的数据,定义了一个通用的字段集。可按通用性,将字段分为三个类型:

推荐使用场景
ECS 核心字段 已完全定义的字段集名称,位于已定义的 ECS 顶级对象集之下
ECS 延展字段 已部分定义的字段集名称,位于同一个 ECS 顶级对象集之下
定制字段 未定义亦未命名的字段集,位于用户提供的非 ECS 顶级对象集之下,不得与 ECS 字段或对象冲突 (1)如果某字段在 ECS 中没有对应的字段,您可以将其添加到这里;(2)或者在这里保存一份原始事件字段的副本,例如将您的数据迁移至 ECS 时,便可如此做
posted @ 2021-05-28 22:09  code汤  阅读(162)  评论(0)    收藏  举报