摘要：目录 五、错误记录 Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般 阅读全文

摘要：假设日志文件中的每一行记录格式为json的，如： 默认配置下，logstash处理插入进elasticsearch后，查到的结果是这样的： 即会将json记录做为一个字符串放到”message”下，但是我是想让logstash自动解析json记录，将各字段放入elasticsearch中。有三种配置 阅读全文

摘要：logstash.conf input { # For detail config for log4j as input, # See: https://www.elastic.co/guide/en/logstash/ file { type => "log" # log 名 path => "/ 阅读全文

摘要：今天在用logstash解析日志并传送给kafka的时候，发现kafka能收到数据但数据内容已经丢失，具体如下： 在logstash output中增加输出样式之后，问题解决kafka再次接受到的内容如下图所示： output{ kafka{ topic_id => "log_test" # kaf 阅读全文

摘要：# cat filebeat.yml 阅读全文

摘要：阅读目录： 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日志数据，在 Kibana 中显示 5. 安装配置 Filebeat 6. Filebeat 采集的日志数据，在 Kibana 中显示 7. Filebeat 采集日志数据，Logs 阅读全文

摘要：因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人，加入http://elastic.co公司以后，因为es公司本身还收购了另一个开源项目packetbeat，而这个项目专门 阅读全文

摘要：问题说明 Logstash用的UTC时间, logstash在按每天输出到elasticsearch时，因为时区使用utc，造成每天8:00才创建当天索引，而8:00以前数据则输出到昨天的索引 # 使用logstash写入elasticsearch时的配置output { elasticsearch 阅读全文

摘要：今天在消费kafka数据到elasticsearch（以下简称es）中的时候遇到一个问题，也是一个坑，折腾了半天，后来发现得来全不费工夫，全是白忙活啊！！！ 问题如下： kafka数据中有一个字段是时间字符串，格式为：‘2018-05-31 16：33:45：234’ 为了方便以后根据日期检索数据， 阅读全文

摘要：Elasticsearch 是一个分布式、可扩展、开源的全文搜索与数据分析引擎。它可以存储、搜索、分析 PB 级别的近实时数据。Elasticsearch 使用 Lucene 作为其核心来实现所有的索引和搜索功能，通过简单的Restful API 隐藏 Lucene 的复杂性，从而让全文搜索变得简单 阅读全文

摘要：目录 前言 动态映射（dynamic：true） 静态映射（dynamic：false） 严格模式（dynamic：strict） 目录 前言 动态映射（dynamic：true） 静态映射（dynamic：false） 严格模式（dynamic：strict） 前言 动态映射（dynamic：tr 阅读全文

摘要：在大数据的应用环境中，往往使用反范式设计来提高读写性能。 假设我们有个类似简书的系统，系统里有文章，用户也可以对文章进行赞赏。在关系型数据库中，如果按照数据库范式设计，需要两张表：一张文章表和一张赞赏历史记录表，赞赏历史记录表包括了赞赏者姓名和赞赏金额。 在Elastic search中，由于都是j 阅读全文

摘要：一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。 二、IK分词器的安装和使用 2.1、安装ik 我们可以从官方github上下载该插件，我们下载对应于我们使用的e 阅读全文

摘要：Elasticsearch的mapping一旦创建，只能增加字段，而不能修改已经mapping的字段。但现实往往并非如此啊，有时增加一个字段，就好像打了一个补丁，一个可以，但是越补越多，最后自己都觉得惨不忍睹了。怎么办？？ 这里有一个方法修改mapping，那就是重新建立一个index，然后创建一个 阅读全文

摘要：引子：在上一篇文章Elasticsearch入门（一）：CentOS 7.6 安装ES 7.0.0中，我们讲了如何在CentOS 7.6环境下安装 Elasticsearch 7.0。下面，我将讲一讲，如何安装ES必备插件之——elasticsearch-head，并且记录下在安装过程中所遇到的问题 阅读全文

摘要：修改配置文件elasticsearch.yml，增加http.cors.allow-headers: Authorization 访问head时，url如下所示：http://192.168.100.100:9100/?auth_user=elastic&auth_password=changeme 阅读全文

摘要：之前我们创建索引，查询数据，都是使用的默认的分词器，分词效果不太理想，会把text的字段分成一个一个汉字，然后搜索的时候也会把搜索的句子进行分词，所以这里就需要更加智能的分词器IK分词器了。 1. ik分词器的下载和安装，测试 第一： 下载地址：https://github.com/medcl/el 阅读全文

摘要：最近正在学习服务器应用平台的搭建的相关知识。有幸从朋友与书上了解到Elastic套件的使用，我花了两天的时间把最新的套件部署在我的服务器上，中间踩了数不清的坑。我把整个过程都记录了下来与各位有需要的朋友们分享一下。 Update经过测试该安装破解方案已兼容Elasticsearch6.4.2至Kib 阅读全文

摘要：Now posted on the Elastic blog December 12, 2018 update: This article has been published on Elastic’s website as: https://www.elastic.co/blog/elastics 阅读全文

摘要：同一个index下的不同的type下的相同的filed,在同一个index下其实会被认为是同一个filed. 同一个index下的不同的type下的相同的filed,在同一个index下其实会被认为是同一个filed. 否则，不同type中的相同字段名称就会在处理中出现冲突的情况，导致Lucene处 阅读全文