摘要：
Logstash: 启动监控 配置文件：logstash.yml Logstash: 集中管理 意思是说服务器这边只是启动logstash,并没有执行任何配置文件，而是在集中管理这边设置配置参数信息等 角色权限： 用户权限： 在logstash.yml文件里做相应的配置： 直接启动logstash， 阅读全文
posted @ 2020-05-12 09:44
哈喽哈喽111111
阅读(2217)
评论(0)
推荐(0)
摘要：
使用情况说明： 已经使用logstash拉取MySQL数据存储到es中，es中也创建了相应的索引，也存储了数据。假若把这个索引给删除了，再次进行同步操作的话要咋做，从最开始的数据进行同步，而不是新增的数据 官方文档地址：https://www.elastic.co/guide/en/logstash 阅读全文
posted @ 2020-05-11 18:22
哈喽哈喽111111
阅读(976)
评论(0)
推荐(0)
摘要：
MySQL中数据样式 ES中数据样式 注意：若@timestamp不想使用数据表中的时间字段值，则可以使用系统时间值，但是要使用东八区的系统时间，不是UTC时间 阅读全文
posted @ 2020-05-11 16:18
哈喽哈喽111111
阅读(1846)
评论(0)
推荐(0)
摘要：
logstash和elasticsearch是按照UTC时间的，kibana却是按照正常你所在的时区显示的，是因为kibana中可以配置时区信息。 具体看这个： logstash 的配置文件添加 这样output 输出的时间才是正确的，前提服务器时区已经修改了 阅读全文
posted @ 2020-05-11 11:33
哈喽哈喽111111
阅读(1041)
评论(0)
推荐(0)
摘要：
官方文档地址：https://www.elastic.co/guide/en/logstash/current/plugins inputs jdbc.html plugins inputs jdbc jdbc_driver_library 配置多个SQL语句编辑 当需要从不同的数据库表或视图中查询 阅读全文
posted @ 2020-05-11 11:08
哈喽哈喽111111
阅读(351)
评论(0)
推荐(0)
摘要：
针对单独一个数据表而言，大致可以分如下两种情况： 1.该数据表中有一个根据当前时间戳更新的字段，此时监控的是这个时间戳字段 具体可以看这个文章：https://www.cnblogs.com/sanduzxcvbnm/p/12858967.html 示例： modification_time就是表中 阅读全文
posted @ 2020-05-11 10:19
哈喽哈喽111111
阅读(1242)
评论(0)
推荐(0)
摘要：
| Setting | Input type | Required | | | | | | " " | "boolean" | No | | " " | "hash" | No | | " " | "number" | No | | " " | "number" | No | | " " | "st 阅读全文
posted @ 2020-05-09 18:11
哈喽哈喽111111
阅读(5632)
评论(0)
推荐(0)
摘要：
参考样式即可，具体使用配置参数根据实际情况而定 阅读全文
posted @ 2020-05-09 18:08
哈喽哈喽111111
阅读(1197)
评论(0)
推荐(0)
摘要：
注意：这个演示也是读取数据库中的某个数据表的数据，并不是整个数据库中的所有表的数据 注意：@timestamp时间戳是utc时间，若想换成东八区时间,需要新增其他设置，具体看如下示例 系统配置 MySQL：5.5.53 Elasticsearch：7.5.0 Logstash：7.5.0 Java： 阅读全文
posted @ 2020-05-09 17:24
哈喽哈喽111111
阅读(759)
评论(0)
推荐(0)
摘要：
总结：这种适合把已有的MySQL数据导入到Elasticsearch中 有一个csv文件，把里面的数据通过Navicat Premium 软件导入到数据表中，共有998条数据 文件下载地址：https://files.cnblogs.com/files/sanduzxcvbnm/SalesJan20 阅读全文
posted @ 2020-05-09 16:23
哈喽哈喽111111
阅读(1759)
评论(0)
推荐(0)
摘要：
对于Elastic Stack监视的所有用户，建议使用外部数据收集。 概括一下： 关闭Elastic Stack自带的监控功能，然后使用metricbeat收集Elastic Stack数据传输到另外的Elastic Stack监控集群 背景 以前，Elastic Stack中的服务收集并传送了自己 阅读全文
posted @ 2020-05-09 12:05
哈喽哈喽111111
阅读(1821)
评论(0)
推荐(0)
摘要：
来源数据是一个csv文件，具体内容如下图所示： 导入数据到es中 有两种办法，第一种是在kibana界面直接上传文件导入 第二种方法是使用filebeat读取文件导入 这里采用第二种办法 配置文件名：filebeat_covid19.yml 注意:csv文件的第一行是数据的header，需要去掉这一 阅读全文
posted @ 2020-05-09 11:22
哈喽哈喽111111
阅读(1870)
评论(0)
推荐(0)
摘要：
https://www.tutorialspoint.com/redis/ 阅读全文
posted @ 2020-05-08 17:47
哈喽哈喽111111
阅读(220)
评论(0)
推荐(0)
摘要：
该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf 阅读全文
posted @ 2020-05-08 17:34
哈喽哈喽111111
阅读(837)
评论(0)
推荐(0)
摘要：
前提条件： 1.es版本是白金版 2.es开启安全设置，kibana访问es需要密码 操作步骤汇总： 1 3步是基础环境配置 4 9步是注册beats到集中管理平台，然后启动beats，只是单纯启动betas，图片的system是演示用的，可以后期再配置 10 11步是添加监控配置项或输出项，然后保 阅读全文
posted @ 2020-05-08 16:09
哈喽哈喽111111
阅读(1126)
评论(0)
推荐(0)
摘要：
一个processor就像是Logstash里的一个filter pipeline是一组processor 阅读全文
posted @ 2020-05-08 15:22
哈喽哈喽111111
阅读(851)
评论(0)
推荐(0)
摘要：
简要来说： 使用filebeat读取log日志，在filebeat.yml中先一步处理日志中的个别数据，比如丢弃某些数据项，增加某些数据项。 按照之前的文档，是在filebeat.yml中操作的，具体设置如下： 现在不采用直接在filebet.yml文件中修改的方法，直接使用创建单独的pipelin 阅读全文
posted @ 2020-05-08 15:14
哈喽哈喽111111
阅读(1129)
评论(0)
推荐(0)
摘要：
首先，我们来看下一下如下的这个图： Cluster Cluster也就是集群的意思。Elasticsearch集群由一个或多个节点组成，可通过其集群名称进行标识。通常这个Cluster 的名字是可以在Elasticsearch里的配置文件中设置的。在默认的情况下，如我们的Elasticsearch已 阅读全文
posted @ 2020-05-08 14:59
哈喽哈喽111111
阅读(1256)
评论(0)
推荐(0)
摘要：
角色划分 在Elasticsearch中，有很多角色，常用的角色有如下： Master Node：主节点 Master eligible nodes：合格节点 Data Node：数据节点 Coordinating Node：协调节点 Ingest Node：ingest节点 machine lea 阅读全文
posted @ 2020-05-08 14:34
哈喽哈喽111111
阅读(5443)
评论(0)
推荐(0)
摘要：
下载并解压缩metricbeat metricbeat.yml配置文件设置： 查看metircbeat开启的模块： ,发现默认开启监控的是system模块 可以通过文件 查看监控的详细信息等 拓展： 开启模块： 关闭模块： 加载dashboards： 运行： 查看kibana面板： 监控nginx 阅读全文
posted @ 2020-05-08 12:12
哈喽哈喽111111
阅读(1734)
评论(0)
推荐(0)
摘要：
在同一台主机上事先安装好filebeat,elasticsearch和kibana filebeat配置 安装完Filebeat后，可以看到在Filebeat的安装目录下有一个叫做filebeat.yml的配置文件，还有一个叫做modules.d的文件夹。在filebeat.yml中，我们做如下的修 阅读全文
posted @ 2020-05-08 11:01
哈喽哈喽111111
阅读(2549)
评论(0)
推荐(0)
摘要：
默认情况下，Filebeat将其所有输出发送到syslog。 在前台运行Filebeat时，可以使用 e命令行标志将输出重定向到标准错误。 例如： 默认配置文件是filebeat.yml（文件的位置因平台而异）。 您可以通过指定 c标志来使用其他配置文件。 例如： 您可以通过启用一个或多个调试选择器 阅读全文
posted @ 2020-05-08 10:28
哈喽哈喽111111
阅读(2046)
评论(0)
推荐(0)
摘要：
下面是一个使用drop_fields处理器从Apache访问日志中删除一些字段的示例： 在上面，把ecs字段删除，那么显示的结果为： 显然相比较之前的source，我们可以看出来ecs项已经不见了。 所有的Processors在一下列出： add_cloud_metadata add_locale 阅读全文
posted @ 2020-05-08 10:26
哈喽哈喽111111
阅读(1944)
评论(0)
推荐(0)
摘要：
filebeat.yml配置文件参数 在source里加入了一个fields叫做“appach: true"。 显示结果： 也可以加入一些tags： 这样在_source里就会出现一些tag: 阅读全文
posted @ 2020-05-08 10:23
哈喽哈喽111111
阅读(1611)
评论(0)
推荐(0)
摘要：
在默认的情况下，直接运行filebeat的话，它选择的默认的配置文件是当前目录下的filebeat.yml文件。 filebeat.yml文件内容 打入一个测试命令来看一下执行的结果： 显示结果： 返回信息显示，logstash没有运行，端口5044没有被打开。 阅读全文
posted @ 2020-05-08 09:52
哈喽哈喽111111
阅读(1553)
评论(0)
推荐(0)
摘要：
分片数量 总分片数=主分片数 （副分片数+1） 如下创建索引配置表示，总分片数=1 （1+4），表示总共5个分片。 number_of_shards：每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。 number_of_replicas：每个主分片的副本数，默认值是 1 。对于活动 阅读全文
posted @ 2020-05-07 15:33
哈喽哈喽111111
阅读(1322)
评论(0)
推荐(0)
摘要：
映射是定义文档及其包含的字段的存储和索引方式的过程。 映射定义具有： 元字段 元字段用于自定义如何处理关联的文档元数据。包括文档 _index，_id和 _source领域。 字段或属性 映射包含properties与文档相关的字段列表。 字段数据类型 每个字段都有一个数据type，可以是： 简单类 阅读全文
posted @ 2020-05-07 15:13
哈喽哈喽111111
阅读(1790)
评论(0)
推荐(0)
摘要：
附加的功能在 Kibana 中是以插件的形式提供的。您可以利用 bin/kibana plugin 命令来管理这些模块。您也可以手动安装这些插件，只需要将这些插件包放到 plugins 目录并解压到新的目录就可以了。 插件兼容性 Kibana 插件接口在不断的发展变化。由于插件更新很快，因此很难向后 阅读全文
posted @ 2020-05-07 14:04
哈喽哈喽111111
阅读(2705)
评论(0)
推荐(0)
摘要：
这里是用来管理您的 kibana 运行时配置的地方，包括初始化配置和后续的索引模式配置、高级设置等。您可以调整 kibana 自身的行为，也可以编辑您通过 kibana 保存的查询、视图、仪表板等各种 "对象“ 。 这部分功能是通过插件实现的，所以除了开箱即用的功能外，诸如 X Pack 之类的扩展 阅读全文
posted @ 2020-05-07 13:57
哈喽哈喽111111
阅读(1162)
评论(0)
推荐(0)
摘要：
控制台插件提供一个用户界面来和 Elasticsearch 的 REST API 交互。控制台有两个主要部分： editor ，用来编写提交给 Elasticsearch 的请求； response 面板，用来展示请求结果的响应。在页面顶部的文本框中输入 Elasticsearch 服务器的地址。默 阅读全文
posted @ 2020-05-07 11:58
哈喽哈喽111111
阅读(5368)
评论(0)
推荐(0)
摘要：
Kibana 仪表板（Dashboard） 展示保存的可视化结果集合。 在编辑模式下，您可以根据需要安排和调整可视化结果集，并保存仪表板，以便重新加载和共享。 创建一个仪表板 如何创建一个仪表板： 点击侧面导航中的 Dashboard 。您如果之前没有浏览过仪表板，Kibana 会显示一个起始页，在 阅读全文
posted @ 2020-05-07 11:53
哈喽哈喽111111
阅读(7376)
评论(0)
推荐(0)
摘要：
可视化 (Visualize) 功能可以为您的 Elasticsearch 数据创建可视化控件。然后，您就可以创建仪表板将这些可视化控件整合到一起展示。 Kibana 可视化控件基于 Elasticsearch 的查询。利用一系列的 Elasticsearch 查询聚合功能来提取和处理数据，您可以通 阅读全文
posted @ 2020-05-07 11:50
哈喽哈喽111111
阅读(21777)
评论(0)
推荐(1)
摘要：
设置时间过滤器 时间过滤器按照指定的时间段展示搜索结果。设置了 index contains time based events 和 time field 的索引模式可以使用时间过滤器。 时间过滤器默认的时间段为最近15分钟。您可以使用页面顶部的 Time Picker 来调整时间段和刷新频率。 通 阅读全文
posted @ 2020-05-07 11:29
哈喽哈喽111111
阅读(14689)
评论(0)
推荐(2)
摘要：
仪表板可用于集中管理和分享可视化控件集合。构建一个仪表板用以包含您在本教程中已保存的可视化控件，方法如下： 1.在侧边导航栏点击 Dashboard 。 2.点击 Add 显示已保存的可视化控件列表。 3.单击 Markdown Example 、 Pie Example 、 Bar Example 阅读全文
posted @ 2020-05-07 11:01
哈喽哈喽111111
阅读(1663)
评论(0)
推荐(0)
摘要：
在侧边导航栏点击 Visualize 开始视化您的数据。 Visualize 工具能让您通过多种方式浏览您的数据。例如：我们使用饼图这个重要的可视化控件来查看银行账户样本数据中的账户余额。点击屏幕中间的 Create a visualization 蓝色按钮开始。 有很多种可视化控件可供选择。我们点 阅读全文
posted @ 2020-05-07 10:54
哈喽哈喽111111
阅读(4659)
评论(0)
推荐(0)
摘要：
总结说明： 1.先在Management/Kibana/Index Patterns 界面下添加索引模式(前提是有索引数据) 2.在Discover界面选中响应的索引模式 3.开启Kibana 查询语言 (KQL) 功能，然后在搜索框中输入要查询的语句，显示查询后的全部结果 4.点击右侧字段旁边的a 阅读全文
posted @ 2020-05-07 10:02
哈喽哈喽111111
阅读(2522)
评论(0)
推荐(0)
摘要：
在 Kibana 中使用 X Pack 使用 "X Pack 安全模块" 控制用户通过 Kibana 可以访问哪些 Elasticsearch 数据。 当安装 X Pack 时，Kibana 用户必须登陆。这些用户需要用 角色来访问通过 Kibana 管理的索引库。 如果一个用户要通过 Kibana 阅读全文
posted @ 2020-05-07 09:32
哈喽哈喽111111
阅读(469)
评论(0)
推荐(0)
摘要：
1.Kibana 有 Linux、Darwin 和 Windows 版本的安装包。由于 Kibana 基于 Node.js 运行，我们在这些平台上包含了一些必要的 Node.js 二进制文件。Kibana 不支持在独立维护的 Node.js 版本上运行。 2.Kibana 的版本需要和 Elasti 阅读全文
posted @ 2020-05-07 09:22
哈喽哈喽111111
阅读(439)
评论(0)
推荐(0)
摘要：
如果 Elasticsearch 集群有多个节点，分发 Kibana 节点之间请求的最简单的方法就是在 Kibana 机器上运行一个 Elasticsearch 协调（Coordinating only node） 的节点。Elasticsearch 协调节点本质上是智能负载均衡器，也是集群的一部分 阅读全文
posted @ 2020-05-06 17:39
哈喽哈喽111111
阅读(1003)
评论(0)
推荐(0)
摘要：
``` server.port: 默认值: 5601 Kibana 由后端服务器提供服务，该配置指定使用的端口号。 server.host: 默认值: "localhost" 指定后端服务器的主机地址。 server.basePath: 如果启用了代理，指定 Kibana 的路径，该配置项只影响 Kibana 生成的 URLs，转发请求到 Kibana 时代理会移除基础路径值，该配置项不能以斜杠 阅读全文
posted @ 2020-05-06 16:28
哈喽哈喽111111
阅读(10016)
评论(0)
推荐(2)
浙公网安备 33010602011771号