【Elasticsearch学习】之指标聚合(Metrics Aggregation)

Elasticsearch提供了几类聚合分析方法，分别为Bucketing Aggregation分桶聚合、Metrics Aggregation指标聚合，Matrix Aggregation矩阵聚合，Pipleline Aggregation管道聚合。

1.Metrics Aggregations（指标聚合）

　　计算一个文档集合的某些指标。

　　1）Avg，单值指标聚合，用于计算从文档中提取的值的平均值，计算值可以从文档中数值类型字段提取，也可以通过脚本生成。　　　

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "avg_price" : { "avg" : { "field" : "taxful_total_price" } }
    }
}

使用脚本：

POST /kibana_sample_data_ecommerce/_search?size=0
{
 "aggs" : {
        "avg_corrected_grade" : {
            "avg" : {
                "field" : "taxful_total_price",
                "script" : {
                    "lang": "painless",
                    "source": "_value * params.correction",
                    "params" : {
                        "correction" : 1.2
                    }
                }
            }
        }
    }
}

当计算的字段的值缺失时可以使用missing参数设置默认补充值。

　　2）Weighted Avg Aggregations 加权平均值，用于计算从文档中提取的值的加权平均值。

　　　　计算公式： ∑(value * weight) / ∑(weight)

　　　　weighted_avg参数：

　　　　value：提供计算值的字段配置或者脚本。value的参数：field-提取值的字段，missing-配置缺失值的默认值。

　　　　weight：提供权重的字段配置或者脚本。weight的参数：field-提供权重的字段，missing-配置缺失值的默认值。

　　　　format：返回的数值的格式。

　　　　value_type：关于纯脚本和未映射的字段的提示。

POST /kibana_sample_data_ecommerce/_search
{
    "size": 0,
    "aggs" : {
        "weighted_grade": {
            "weighted_avg": {
                "value": {
                    "field": "taxful_total_price"
                },
                "weight": {
                    "field": "total_quantity"
                }
            }
        }
    }
}

　　3）Cardinality Aggregations 计算某个字段不同值的近似数量。是一个近似算法，采用HyperLogLog++算法。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "type_count" : {
            "cardinality" : {
                "field" : "day_of_week" //计算有多少个不同的day_of_week字段值
            }
        }
    }
}

　　因为是近视计算所以存在精度问题，Cadinality提供了precision_threshold参数用来控制精度，采用以内存交换精度的方式，当精度越高使用的内存就越多。precision_threshold定义了一个数值，在计算的字段不同值的数量低于precision_threshold时，计算值是接近于准确的；如果数量高于时，精度将会下降。precision_threshold最大支持40000，默认为3000。

　　3）Max、Min Aggregation 单指标，返回聚合文档中某个数值字段的最大值、最小值。当计算值大于2^53时，结果可能时近似的。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "max_price" : { "max" : { "field" : "taxful_total_price" } }
    }
}

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "min_price" : { "min" : { "field" : "taxful_total_price" } }
    }
}

　　4）Sum Aggregation 单指标，将从聚合文档中提取的数值进行求和。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "sum_prices" : { "sum" : { "field" : "taxful_total_price" } }
    }
}

　　5）Value Count Aggregation  单指标，计算文档的个数。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "types_count" : { "value_count" : { "field" : "day_of_week" } }
    }
}

　　返回：

"aggregations" : {
    "types_count" : {
      "value" : 4675
    }
  }

　　6）Stats Aggregation 多值指标，输出多个统计结果，统计指标由：min，max，sum，count，avg组成。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "price_stats" : { "stats" : { "field" : "taxful_total_price" } }
    }
}

　　返回的统计结果：

"aggregations" : {
    "price_stats" : {
      "count" : 4675,
      "min" : 6.98828125,
      "max" : 2250.0,
      "avg" : 75.05542864304813,
      "sum" : 350884.12890625
    }
  }　　

　7）Extended Stats Aggregation 多值指标，扩展stats的统计值，扩展的了例如sum_of_squares，variance，std_deviation，std_deviation_bound。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "price_stats" : { "extended_stats" : { "field" : "taxful_total_price" } }
    }
}

　　返回的统计结果：

"aggregations" : {
    "price_stats" : {
      "count" : 4675,
      "min" : 6.98828125,
      "max" : 2250.0,
      "avg" : 75.05542864304813,
      "sum" : 350884.12890625,
      "sum_of_squares" : 3.9367749294174194E7,//平方和
      "variance" : 2787.59157113862, //方差
      "std_deviation" : 52.79764740155209, // 标准差
      "std_deviation_bounds" : {
        "upper" : 180.6507234461523,   //可信区间上限
        "lower" : -30.53986616005605   //可信区间下限
      }
    }
  }

　　默认情况下，extended_stats会返回标准差的置信区间，如果需要使用不同的区间，则可以定义sigma参数。

　　8）String Stats Aggregation 多值指标，用于统计string类型的值。

　　　　string stats aggregation统计的指标：

　　　　count：非空字段的数量

　　　　min_length：最短的长度

　　　　max_length：最长的长度

　　　　avg_length：平均长度

　　　　entropy：计算所有字符串的信息熵，信息熵量化了字段包含的信息量，用于确定数据集的属性，如多样性、相似性、随机型。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs" : {
        "message_stats" : { "string_stats" : { "field" : "customer_last_name.keyword" } }
    }
}

"aggregations" : {
    "message_stats" : {
      "count" : 4675,
      "min_length" : 3,
      "max_length" : 10,
      "avg_length" : 6.134545454545455,
      "entropy" : 4.688464053505158
    }
  }

　　show_distribution参数：查看所有字符的概率分布。设置 "show_distribution": true即可查看。

 　　9）Top Hits Aggregation 用于跟踪聚合文档中匹配度最高的文档，是一个子聚合。top_hits聚合器通过bucket聚合器按某个字段结果集高效的进行分组，可以设置一个或多个bucket聚合器来决定结果应该被划分到哪一个分组中。

 　　参数：

　　from：从何处开始抓取结果

　　size：每个桶中最大的匹配数量，默认返回前三个。

　　sort：排序。默认根据主查询的评分来排序。

POST /kibana_sample_data_ecommerce/_search?size=0
{
    "aggs": {
        "top_tags": {
            "terms": {
                "field": "day_of_week", //按照day_of_week进行分组
                "size": 2　　　　　　　　//总共取3个分组
            },
            "aggs": {
                "top_price_hits": {
                    "top_hits": {
                        "sort": [
                            {
                                "taxful_total_price": { //按照taxful_total_price 降序排列
                                    "order": "desc"
                                }
                            }
                        ],
                        "_source": {
                            "includes": [ "day_of_week", "customer_full_name" ,"taxful_total_price"] //返回的字段
                        },
                        "size" : 1 //每个分组中取几个文档
                    }
                }
            }
        }
    }
}

　　返回：

"aggregations" : {
    "top_tags" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3130,
      "buckets" : [
        {
          "key" : "Thursday", //分桶的key值
          "doc_count" : 775, //分桶中的文档数量
          "top_price_hits" : {
            "hits" : {
              "total" : {
                "value" : 775,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "kibana_sample_data_ecommerce",
                  "_type" : "_doc",
                  "_id" : "CH-j7XEB-r_IFm6PJzGx",
                  "_score" : null,
                  "_source" : {
                    "customer_full_name" : "Eddie Lambert", 
                    "day_of_week" : "Thursday",
                    "taxful_total_price" : 369.96
                  },
                  "sort" : [
                    370.0
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : "Friday",
          "doc_count" : 770,
          "top_sales_hits" : {
            "hits" : {
              "total" : {
                "value" : 770,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "kibana_sample_data_ecommerce",
                  "_type" : "_doc",
                  "_id" : "I3-j7XEB-r_IFm6PJjB6",
                  "_score" : null,
                  "_source" : {
                    "customer_full_name" : "Sultan Al Bryan",
                    "day_of_week" : "Friday",
                    "taxful_total_price" : 392.96
                  },
                  "sort" : [
                    393.0
                  ]
                }
              ]
            }
          }
        }
      ]
    }
  }　　

　　10）Geo Bound Aggregation ，计算包含所有地理值的矩形范围。

PUT /museums
{
    "mappings": {
        "properties": {
            "location": {
                "type": "geo_point"
            }
        }
    }
}


POST /museums/_bulk?refresh
{"index":{"_id":1}}
{"location": "52.374081,4.912350", "name": "NEMO Science Museum"}
{"index":{"_id":2}}
{"location": "52.369219,4.901618", "name": "Museum Het Rembrandthuis"}
{"index":{"_id":3}}
{"location": "52.371667,4.914722", "name": "Nederlands Scheepvaartmuseum"}
{"index":{"_id":4}}
{"location": "51.222900,4.405200", "name": "Letterenhuis"}
{"index":{"_id":5}}
{"location": "48.861111,2.336389", "name": "Musée du Louvre"}
{"index":{"_id":6}}
{"location": "48.860000,2.327000", "name": "Musée d'Orsay"}


POST /museums/_search?size=0
{
    "query" : {
        "match" : { "name" : "musée" }
    },
    "aggs" : {
        "viewport" : {
            "geo_bounds" : {
                "field" : "location", 　　//用于获取范围的字段
                "wrap_longitude" : true 　//是否允许边界和国际日期线重叠
            }
        }
    }
}

　　返回

"aggregations" : {
    "viewport" : {
      "bounds" : {
        "top_left" : {
          "lat" : 48.86111099738628, //纬度
          "lon" : 2.3269999679178　　//经度
        },
        "bottom_right" : {
          "lat" : 48.85999997612089,
          "lon" : 2.3363889567553997
        }
      }
    }
  }

　　11）Geo Centroid Aggregation，计算聚合文档的地理值的大概的中心点。

POST /museums/_search?size=0
{
    "aggs" : {
        "centroid" : {
            "geo_centroid" : {
                "field" : "location" 
            }
        }
    }
}

　　返回中心点：

"aggregations" : {
    "centroid" : {
      "location" : {
        "lat" : 51.00982965203002,
        "lon" : 3.9662131341174245
      },
      "count" : 6
    }
  }

　　12）Percentiles Aggregation，多值聚合，百分位聚合，用于计算文档中数值字段的一个或多个百分点。通常用于寻找异常值。

GET kibana_sample_data_ecommerce/_search
{
    "size": 0,
    "aggs" : {
        "quantity_time_outlier" : {
            "percentiles" : {
                "field" : "total_quantity" 
            }
        }
    }
}

　　返回：　　

"aggregations" : {
    "quantity_time_outlier" : {
      "values" : {
        "1.0" : 1.0, //1%的数量为 1
        "5.0" : 2.0, //5%的数量为 2
        "25.0" : 2.0,
        "50.0" : 2.0,
        "75.0" : 2.0,
        "95.0" : 4.0,
        "99.0" : 4.0
      }
    }
  }

　　可使用percents指定想要计算的百分比。　　

GET kibana_sample_data_ecommerce/_search
{
    "size": 0,
    "aggs" : {
        "quantity_time_outlier" : {
            "percentiles" : {
                "field" : "total_quantity",
                "percents" : [5, 80, 95] 
            }
        }
    }
}

　　13）Percentile Ranks Aggregation 多值指标，百分比分级聚合，用于统计数值低于某个确定值的百分比数。

GET kibana_sample_data_ecommerce/_search
{
    "size": 0,
    "aggs" : {
        "quantity_time_ranks" : {
            "percentile_ranks" : {
                "field" : "total_quantity", 
                "values" : [3, 4]
            }
        }
    }
}

　　返回：

"aggregations" : {
    "quantity_time_ranks" : {
      "values" : {
        "3.0" : 91.18716577540107, 　//小于3的数量有91%多
        "4.0" : 99.78609625668449　　//小于4的数量有99%多
      }
    }
  }

　　14）Scripted Aggregation，通过脚本提供指标输出。

　　脚本指标聚合通过执行4步进行：

　　1.init_script：在提取文档集合前执行。运行设置任何的初始state。

　　2.map_script：在每个文档被采集前执行一次。

　　3.combine_script：当文档采集完毕后在每个分片上执行一次，可以合并从各个分片返回的state。

　　4.reduce_script：当所有分片返回结果后，在协调节点上执行一次，提供对combine_script返回的state的访问。

　　其他的参数：params，可以作为init_script、map_script、combine_script的参数

　　脚本返回的对象或者存储在state中的对象只能是如下几种类型：原生ES类型、String、Map、Array。

举例：

PUT /transactions/_bulk?refresh
{"index":{"_id":1}}
{"type": "sale","amount": 80}
{"index":{"_id":2}}
{"type": "cost","amount": 10}
{"index":{"_id":3}}
{"type": "cost","amount": 30}
{"index":{"_id":4}}
{"type": "sale","amount": 130}

　　init_script之前：state是空对象{}

　　init_script在每个文档执行一次初始化操作，所以在每个分片上会有一个state副本：

　　分片A :

　　"state" : {
    　　"transactions" : []
　　}
　分片B:
　"state" : {
　　
　　"transactions" : []
 }
　每个分片采集分片上的文档并在每个文档上执行map_script
　分片A上的state变为：

　　"state" : {
   　　 "transactions" : [ 80, -30 ]
　　}

　分片B上的state变为：

　　"state" : {
    　　"transactions" : [ -10, 130 ]
　　}

　　combine_script在每个分片采集文档完毕后执行，减少states中所有的transactions为一个总数，该总数被传回给coordinate节点。
　分片A:50 分片B:120
　　reduce_script接受一个包含combine script结果的数组，如"states" : [50,120]，reduce_script将数组中的值相加得到最终返回的聚合值。