ELK Stack - 随笔分类(第15页) - 哈喽哈喽111111

使用 Auditbeat 模块监控 shell 命令

摘要：使用 Auditbeat 模块监控 shell 命令 Auditbeat Audited 模块可以用来监控所有用户在系统上执行的 shell 命令。在终端用户偶尔才会登录的服务器上，通常需要进行监控。该示例是在 CentOS Linux 7.6 上使用 Auditbeat 7.4.2 RPM 软件阅读全文

posted @ 2020-04-03 10:38 哈喽哈喽111111 阅读(1478) 评论(2) 推荐(0)

Elasticsearch：如何对PDF文件进行搜索

摘要：Elasticsearch 通常用于字符串，数字，日期等数据类型的检索，但是在 HCM、ERP 和电子商务等应用程序中经常存在对办公文档进行搜索的需求。今天的这篇文章中我们来讲一下如何实现 PDF、DOC、XLS 等办公文件的搜索，本解决方案适用于 Elasticsearch 5.0 以后的版本。阅读全文

posted @ 2020-04-03 10:25 哈喽哈喽111111 阅读(3802) 评论(0) 推荐(1)

Elasticsearch索引和查询性能调优的21条建议

摘要：Elasticsearch部署建议 1. 选择合理的硬件配置：尽可能使用 SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。阅读全文

posted @ 2020-04-03 09:51 哈喽哈喽111111 阅读(12342) 评论(0) 推荐(0)

Logstash集成GaussDB(高斯DB)数据到Elasticsearch

摘要：GaussDB 简介 GaussDB 数据库分为 GaussDB T 和 GaussDB A，分别面向 OLTP 和 OLAP 的业务用户。 GaussDB T 数据库是华为公司全自研的分布式数据库，支持x86和华为鲲鹏硬件架构。基于创新性数据库内核，提供高并发事务实时处理能力、两地三中心金融级高可阅读全文

posted @ 2020-04-03 09:27 哈喽哈喽111111 阅读(1513) 评论(0) 推荐(0)

启动elasticsearch报错解决

摘要：说不定以后会不定期更新该文档 1、提示文件描述符数量太少，修改/etc/security/limits.conf文件，添加。 2、max virtual memory areas vm.max_map_count [65530] likely too low, increase to at leas 阅读全文

posted @ 2020-03-20 12:19 哈喽哈喽111111 阅读(327) 评论(0) 推荐(0)

logstash处理字段样例

摘要：![](https://img2020.cnblogs.com/blog/794174/202003/794174-20200319110944572-1014269852.jpg) 阅读全文

posted @ 2020-03-19 11:10 哈喽哈喽111111 阅读(899) 评论(0) 推荐(0)

使用filebeat过滤掉部分字段

摘要：host，agent，ecs三个字段也是不让drop的阅读全文

posted @ 2020-03-19 11:09 哈喽哈喽111111 阅读(4908) 评论(0) 推荐(1)

filebeat直接给es传输日志，自定义索引名

摘要：ElasticStack从2019年1月29日的6.6.0版本的开始，引入了索引生命周期管理的功能，新版本的Filebeat则默认的配置开启了ILM，导致索引的命名规则被ILM策略控制。加上这个配置就好了： filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题具体配阅读全文

posted @ 2020-02-23 17:21 哈喽哈喽111111 阅读(5906) 评论(0) 推荐(0)

kibana启动停止命令

摘要：前提条件：kibana文件是属于kibana用户的注意：路径根据具体实际情况修改更改日志所属用户和用户组 chown kibana:kibana /usr/local/kibana 7.5.1 linux x86_64/kibana.log 启动脚本：start.sh 停止脚本：stop.sh 阅读全文

posted @ 2020-01-16 16:22 哈喽哈喽111111 阅读(14268) 评论(0) 推荐(0)

logstash另类输出到es

摘要：filebeat配置文件： logstash输出到es 注意：index索引这儿需要加上中括号[] 阅读全文

posted @ 2020-01-16 11:23 哈喽哈喽111111 阅读(773) 评论(0) 推荐(0)

转载---Beats：如何使用Filebeat将MySQL日志发送到Elasticsearch

摘要：在今天的文章中，我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便，我们的测试系统的配置是这样的：我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里，我同时安装了一个Ubuntu 18.04 阅读全文

posted @ 2020-01-13 13:48 哈喽哈喽111111 阅读(2185) 评论(0) 推荐(0)

Elasticsearch中text与keyword的区别

摘要：text类型 keyword Dynamic dynamic属性：默认值为true，允许动态地向文档类型中加入新的字段。推荐设置为false，禁止向文档中添加字段，这样，文档类型的所有字段必须在索引映射的properties属性中显式定义，在properties字段中未定义的字段都将会Elastic 阅读全文

posted @ 2020-01-10 17:42 哈喽哈喽111111 阅读(46256) 评论(0) 推荐(0)

filebeat知识点

摘要：在Filebeat的根目录下，有一个叫做filebeat.yml的文件。这里需要注意的是之前有的文章里第一行写的是filebeat.prospectors。经过测试在新的版本里不再适用。通过如下的命令来运行filebeat: 在默认的情况下，filebeat会自动寻找定义在filebeat.ym 阅读全文

posted @ 2020-01-10 16:37 哈喽哈喽111111 阅读(613) 评论(0) 推荐(0)

logstash知识点

摘要：0. Logstash是位于Data和Elasticsearch之间的一个中间件。Logstash是一个功能强大的工具，可与各种部署集成。它提供了大量插件。它从数据源实时地把数据进行采集，可帮助您解析，丰富，转换和缓冲来自各种来源的数据，并最终把数据传入到Elasticsearch之中。如果您阅读全文

posted @ 2020-01-10 16:36 哈喽哈喽111111 阅读(1113) 评论(0) 推荐(0)

ES重要配置解析

摘要：path.data和path.logs 如果您使用.zip或.tar.gz存档，则data和logs 目录是子文件夹$ES_HOME。如果这些重要文件夹保留在其默认位置，则在将Elasticsearch升级到新版本时，存在删除它们的高风险。在生产使用中，您肯定会想要更改数据和日志文件夹的位置：该阅读全文

posted @ 2020-01-10 16:24 哈喽哈喽111111 阅读(2987) 评论(0) 推荐(0)

Elasticsearch：单节点数据迁移

摘要：Elasticsearch数据迁移：windows单节点迁移到windows 将源数据中的ES安装目录下的data/nodes目录整体拷贝到目标ES的对应目录下迁移前请备份；迁移后需要重启ES； Elasticsearch数据迁移：windows单节点迁移到Linux 将windows源数据中的E 阅读全文

posted @ 2020-01-10 15:52 哈喽哈喽111111 阅读(2011) 评论(0) 推荐(0)

es日志配置，只保存最近3天的日志

摘要：Elasticsearch使用Log4j 2进行日志记录。可以使用log4j2.properties文件配置Log4j2。 Elasticsearch公开三个属性 ${sys:es.logs.base_path}， ${sys:es.logs.cluster_name} ${sys:es.logs. 阅读全文

posted @ 2020-01-10 15:43 哈喽哈喽111111 阅读(4133) 评论(0) 推荐(0)

使用Metricbeat监控zookeeper遇到的问题

摘要：1.metricbeat中启动自动加载模块 2.开启kibana中的dashboard功能然后启动metricbeat 3.启动zookeeper模块会看到目录modules.d下的zookeeper.yml.disabled变成zookeeper.yml 4.编辑zookeeper.yml,配阅读全文

posted @ 2020-01-10 11:56 哈喽哈喽111111 阅读(982) 评论(0) 推荐(0)

Fielddata is disabled on text fields by default Set fielddata=true on [service.address]

摘要：2个字段的： 3个字段的： 4个字段的：阅读全文

posted @ 2020-01-09 18:21 哈喽哈喽111111 阅读(1857) 评论(0) 推荐(0)

logstash中output{}的另类写法

摘要：日志传输路径如下： filebeat redis logstash es 在filebeat配置文件中，收集日志的时候配置的有如下参数：表示的是会把log_source作为fields的二级字段若是配置如下，表示的是会把log_source作为顶级字段：使用这个字段来作为区分不同应用日志的来源阅读全文

posted @ 2020-01-09 09:25 哈喽哈喽111111 阅读(3580) 评论(0) 推荐(1)

哈喽

随笔分类 - ELK Stack