随笔分类 - ELK（elasticsearch、logstash、kibana）
摘要：功能： 3.1：采集服务器日志 Rsyslog是CentOS6.X自带的一款系统日志工具： 对于ELK stack来说，我们需要实时的知道当前系统运行的情况，如果当前系统出现了问题，能够及时发现，以免影响线上实例 Rsyslog配置文件介绍：/etc/rsyslog.conf文件： 日志级别： 本项
阅读全文
摘要：output插件是经过了input，然后过滤结构化数据之后，接下来我们需要借助output传到我们想传到的地方.output相当于一个输出管道。 2.3.1： 将采集数据标准输出到控制台 配置示例： Codec 来自 Coder/decoder 两个单词的首字母缩写，Logstash 不只是一个in
阅读全文
摘要：Logstash之所以强悍的主要原因是filter插件；通过过滤器的各种组合可以得到我们想要的结构化数据 1：grok正则表达式 grok**正则表达式是logstash非常重要的一个环节**；可以通过grok非常方便的将数据拆分和索引 语法格式： (?<name>pattern) ？<name>表
阅读全文
摘要：1：stdin标准输入和stdout标准输出 首先执行命令： 程序启动之后输入：hello logstash Logsrtash含有两个非常重要的插件，input与output; 我们上面输入输出hello logstash的时候就是基于这两个插件完成; 一个基础的输入输出插件： bin/logst
阅读全文
摘要：logstash就是一个具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景 1）：解压 2）：安装x-pack 3）：修改配置文件 vim logstash
阅读全文
摘要：1）：修改elasticsearch.yml 2）：重启es 3）：创建一个名字为：errors_email 的watcher，定时去扫描相关信息 4）：测试，向logs索引中输入错误信息 邮件报警功能按照每10s检查一遍logs的索引，查看里面的错误信息是否大于0，如果大于0则进行报警； 为了验证
阅读全文
摘要：1.3.1：建立索引 索引index 这个参数可以控制字段应该怎样建索引，怎样查询。它有以下三个可用值： 字段解释： 日志数据集需要映射，通过将 **geo_point**``类型应用于这些字段，将日志中的 latitude（纬度）/longitude（纬度）对标记为地理位置。 使用以下命令建立日志
阅读全文
摘要：1.1：kibana搭建 kibana只需要在一台机器安装即可 1）：解压 tar -zxvf kibana-5.5.2-linux-x86_64.tar.gz -C /home/angel/servers/ 2）：修改kibana中的config/ kibana.yml 文件 Vim /home/
阅读全文
摘要：因为只要索引处于open状态，就会占用内存+磁盘； 如果将索引close，只会占用磁盘 Curl -XPOST ‘hadoop01:9200/index/_close’ 在es中删除文档，数据不会马上在硬盘上删除，而是在es索引中产生一个.del 文件； 并且es在检索过程中也会把.del文件进行检
阅读全文
摘要：Es是基于lucene构建的搜索引擎；lucene查询的快是因为倒排索引； Es中经常会看到segments_q这样的文件，那么这个文件就是一个lucene的倒排索引； 倒排索引是由**词典 (Term Dictionary)和文档列表(Postings List)组成，lucene会在词典上做一层
阅读全文
摘要：适当的提升分片数量可以提升建立索引的速度； 一般情况下：一个索引库建立5-20个分片是最合适的； 注意：如果分片过少或者过多，都会降低检索的速度 分片数过多会导致： 分片数太少导致： 单个分片索引过大，降低整体的检索速率 建议： 将单个分片存储存储索引数据的大小控制在20G左右；绝对不要超过50G
阅读全文
摘要：多副本可以提升检索的能力，但是如果副本数量太多，插入数据的时候容易出现卡顿现象； 因为主分片要把数据同步给所有的副本，所以建议副本数量最好是1-2个； Es在索引数据的时候，如果存在副本，那么主分片会将数据同时同步到副本； 如果当前插入大量数据，那么会对es集群造成一定的压力，所以在插入大量数据前，
阅读全文
摘要：1、将最小堆大小（Xms）和最大堆大小（Xmx）设置为彼此相等 防止内存抖动 2：给多大的堆内存？ 给ES的内存配置不是越大越好，建议不能超过32GB，不同jdk版本最大边界值是不同的，对于32位小于32G JVM才采用内存对象指针压缩技术，不然对象指针需要占用很大的内存； 一旦你越过那个神奇的30
阅读全文
摘要：在实际的生产中，如果要插入大批量数据的时候需要使用多个索引库，如果我们还是手工指定每个索引的配置信息settings和mappings，是非常耗时的； 针对这种情况，es有index template可以解决上面的问题； 索引可使用预定义的模板进行创建,这个模板称作Index templates。模
阅读全文
摘要：3.1、分片查询方式 当前的图片中有5个主分片，5个副本；这对于es的集群来说，这种配置是非常常见的； 但是问题来了，当我们的客户端做查询的时候，程序会向主分片发送请求还是副本发送请求？ 还是说直接去集群上随机找一台机器查询，还是在这个机器里面在随机的找到分片和副本查询？ 【注意】： 默认情况下是随
阅读全文
摘要：一个正常es集群中只有一个主节点，主节点负责管理整个集群，集群的所有节点都会选择同一个节点作为主节点；所以无论访问那个节点都可以查看集群的状态信息。 而脑裂问题的出现就是因为从节点在选择主节点上出现分歧导致一个集群出现多个主节点从而使集群分裂，使得集群处于异常状态 这样的脑裂状态直接让节点失去了集群
阅读全文
摘要：1：需求： 解决海量数据的存储，并且能够实现海量数据的秒级查询 Hbase是典型的nosql，是一种构建在HDFS之上的分布式、面向列的存储系统，在需要的时候可以进行实时的大规模数据集的读写操作；但是hbase的语法非常固话，即便在hbase之上嫁接了phoneix在应对复杂查询的时候，仍然力不从心
阅读全文
摘要：构建数据： 1：分组求count 计算每个球队的球员数量： select team, count(*) as player_count from player group by team; 2：Group by 多个字段 计算每个球队每个位置的球员数 select team, position, c
阅读全文
摘要：我们已经介绍了如何使用不同的条件查询来构建查询并搜索数据。我们还熟知了评分，它告诉我们在给定的查询中，哪些文档更重要以及查询文本如何影响排序。然而，有时我们可能要在不影响最后分数的情况下，选择索引中的某个子集，这就要使用过滤器。 如果可以，应该尽可能使用过滤器。过滤器不影响评分，而得分计算让搜索变得
阅读全文
摘要：随着应用程序的增长，提高搜索质量的需求也进一步增大。我们把它叫做搜索体验。我们需要知道什么对用户更重要，关注用户如何使用搜索功能。这导致不同的结论，例如，有些文档比其他的更重要，或特定查询需强调一个字段而弱化其他字段。这就是可以用到加权的地方。 进一步说搜索体验，我们更希望检索出来的数据是最想得到的
阅读全文
浙公网安备 33010602011771号