随笔分类 - ELK Stack
摘要：参考样式即可，具体使用配置参数根据实际情况而定
阅读全文
摘要：注意：这个演示也是读取数据库中的某个数据表的数据，并不是整个数据库中的所有表的数据 注意：@timestamp时间戳是utc时间，若想换成东八区时间,需要新增其他设置，具体看如下示例 系统配置 MySQL：5.5.53 Elasticsearch：7.5.0 Logstash：7.5.0 Java：
阅读全文
摘要：总结：这种适合把已有的MySQL数据导入到Elasticsearch中 有一个csv文件，把里面的数据通过Navicat Premium 软件导入到数据表中，共有998条数据 文件下载地址：https://files.cnblogs.com/files/sanduzxcvbnm/SalesJan20
阅读全文
摘要：对于Elastic Stack监视的所有用户，建议使用外部数据收集。 概括一下： 关闭Elastic Stack自带的监控功能，然后使用metricbeat收集Elastic Stack数据传输到另外的Elastic Stack监控集群 背景 以前，Elastic Stack中的服务收集并传送了自己
阅读全文
摘要：来源数据是一个csv文件，具体内容如下图所示： 导入数据到es中 有两种办法，第一种是在kibana界面直接上传文件导入 第二种方法是使用filebeat读取文件导入 这里采用第二种办法 配置文件名：filebeat_covid19.yml 注意:csv文件的第一行是数据的header，需要去掉这一
阅读全文
摘要：该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf
阅读全文
摘要：前提条件： 1.es版本是白金版 2.es开启安全设置，kibana访问es需要密码 操作步骤汇总： 1 3步是基础环境配置 4 9步是注册beats到集中管理平台，然后启动beats，只是单纯启动betas，图片的system是演示用的，可以后期再配置 10 11步是添加监控配置项或输出项，然后保
阅读全文
摘要：一个processor就像是Logstash里的一个filter pipeline是一组processor
阅读全文
摘要：简要来说： 使用filebeat读取log日志，在filebeat.yml中先一步处理日志中的个别数据，比如丢弃某些数据项，增加某些数据项。 按照之前的文档，是在filebeat.yml中操作的，具体设置如下： 现在不采用直接在filebet.yml文件中修改的方法，直接使用创建单独的pipelin
阅读全文
摘要：首先，我们来看下一下如下的这个图： Cluster Cluster也就是集群的意思。Elasticsearch集群由一个或多个节点组成，可通过其集群名称进行标识。通常这个Cluster 的名字是可以在Elasticsearch里的配置文件中设置的。在默认的情况下，如我们的Elasticsearch已
阅读全文
摘要：角色划分 在Elasticsearch中，有很多角色，常用的角色有如下： Master Node：主节点 Master eligible nodes：合格节点 Data Node：数据节点 Coordinating Node：协调节点 Ingest Node：ingest节点 machine lea
阅读全文
摘要：下载并解压缩metricbeat metricbeat.yml配置文件设置： 查看metircbeat开启的模块： ,发现默认开启监控的是system模块 可以通过文件 查看监控的详细信息等 拓展： 开启模块： 关闭模块： 加载dashboards： 运行： 查看kibana面板： 监控nginx
阅读全文
摘要：在同一台主机上事先安装好filebeat,elasticsearch和kibana filebeat配置 安装完Filebeat后，可以看到在Filebeat的安装目录下有一个叫做filebeat.yml的配置文件，还有一个叫做modules.d的文件夹。在filebeat.yml中，我们做如下的修
阅读全文
摘要：默认情况下，Filebeat将其所有输出发送到syslog。 在前台运行Filebeat时，可以使用 e命令行标志将输出重定向到标准错误。 例如： 默认配置文件是filebeat.yml（文件的位置因平台而异）。 您可以通过指定 c标志来使用其他配置文件。 例如： 您可以通过启用一个或多个调试选择器
阅读全文
摘要：下面是一个使用drop_fields处理器从Apache访问日志中删除一些字段的示例： 在上面，把ecs字段删除，那么显示的结果为： 显然相比较之前的source，我们可以看出来ecs项已经不见了。 所有的Processors在一下列出： add_cloud_metadata add_locale
阅读全文
摘要：filebeat.yml配置文件参数 在source里加入了一个fields叫做“appach: true"。 显示结果： 也可以加入一些tags： 这样在_source里就会出现一些tag:
阅读全文
摘要：在默认的情况下，直接运行filebeat的话，它选择的默认的配置文件是当前目录下的filebeat.yml文件。 filebeat.yml文件内容 打入一个测试命令来看一下执行的结果： 显示结果： 返回信息显示，logstash没有运行，端口5044没有被打开。
阅读全文
摘要：分片数量 总分片数=主分片数 （副分片数+1） 如下创建索引配置表示，总分片数=1 （1+4），表示总共5个分片。 number_of_shards：每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。 number_of_replicas：每个主分片的副本数，默认值是 1 。对于活动
阅读全文
摘要：映射是定义文档及其包含的字段的存储和索引方式的过程。 映射定义具有： 元字段 元字段用于自定义如何处理关联的文档元数据。包括文档 _index，_id和 _source领域。 字段或属性 映射包含properties与文档相关的字段列表。 字段数据类型 每个字段都有一个数据type，可以是： 简单类
阅读全文
摘要：附加的功能在 Kibana 中是以插件的形式提供的。您可以利用 bin/kibana plugin 命令来管理这些模块。您也可以手动安装这些插件，只需要将这些插件包放到 plugins 目录并解压到新的目录就可以了。 插件兼容性 Kibana 插件接口在不断的发展变化。由于插件更新很快，因此很难向后
阅读全文
浙公网安备 33010602011771号