2017 年 3月 9 日随笔档案 - duanxz

2017年3月9日

摘要：如下例子，查找性别是女，所在的州是PA，过滤条件是年龄是39岁，balance大于等于10000的文档：返回结果：查询虽然包含这两种，但是查询在不同的执行环境下，操作还是不一样的。 Query与Filter 查询在Query查询上下文和Filter过滤器上下文中，执行的操作是不一样的： Quer 阅读全文

posted @ 2017-03-09 22:06 duanxz 阅读(5969) 评论(0) 推荐(1)

ES之五：ElasticSearch聚合

摘要：前言说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggregations)，聚合功能为ES注入了统计分析的血统，使用户在面对大数据提取统计指标时变得游刃有余。同样的工作，你在Hadoop中可能需要写mapreduce或Hive，在mongo中你必须得用大段的mapreduc 阅读全文

posted @ 2017-03-09 22:05 duanxz 阅读(128295) 评论(2) 推荐(8)

Logstash之四：配置说明

摘要： logstash配置文件包含三个配置部分: 分别为：input{}、filter{}、output{}。{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。在{}配置中可以使用表达式完成要采集数据的逻辑，表达式中的数据类型和运算符如下： 1、数据类型：布尔值类型阅读全文

posted @ 2017-03-09 19:51 duanxz 阅读(2746) 评论(0) 推荐(0)

Logstash之三：命令行中常用的命令

摘要： -f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstash -e：后面跟着字符串，该字符串可以被当做logstash的配置（如果是“” 则默认使用stdin作为输入，stdout作为输出） -l：日志输出的地址（默认就是stdout直接在控制台中输出） -t：测试配置文件阅读全文

posted @ 2017-03-09 19:50 duanxz 阅读(1066) 评论(0) 推荐(0)

Logstash之二：原理

摘要：一、Logstash 介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。二、工作流程 Logstash 工作的三个阶段： input 数据输入端，可以接收来自任何地方的源数据。 file：从文件中读取 syslog：监听阅读全文

posted @ 2017-03-09 19:45 duanxz 阅读(2084) 评论(0) 推荐(1)

Logstash之一：入门介绍

摘要：简介 Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstas 阅读全文

posted @ 2017-03-09 15:16 duanxz 阅读(1351) 评论(0) 推荐(0)