摘要：
在Elasticsearch中，Join可以让我们创建parent/child关系。Elasticsearch不是一个RDMS。通常join数据类型尽量不要使用，除非不得已。那么Elasticsearch为什么需要Join数据类型呢？ 在Elasticsearch中，更新一个object需要root
阅读全文
posted @ 2019-12-23 16:20
哈喽哈喽111111
阅读(8590)
推荐(0)
摘要：
在今天的文章中，我们来介绍如何使用Java来访问Elasticsearch。 首先，我们必须在我们的系统中安装Elasticsearch。 Maven 配置 针对Java的开发，我们必须在pom.xml中配置相应的Elasticsearch的信息。Mavev dependency定义如下： 这也是目
阅读全文
posted @ 2019-12-23 16:08
哈喽哈喽111111
阅读(1828)
推荐(0)
摘要：
以后会用到的相关知识：索引中某些字段禁止搜索，排序等操作 当我们学习Elasticsearch时，经常会遇到如下的几个概念： Reverted index doc_values source？ 这个几个概念分别指的是什么？有什么用处？如何配置它们？只有我们熟练地掌握了这些概念，我们才可以正确地使用它
阅读全文
posted @ 2019-12-23 15:44
哈喽哈喽111111
阅读(847)
推荐(0)
摘要：
rollover使您可以根据索引大小，文档数或使用期限自动过渡到新索引。 当rollover触发后，将创建新索引，写别名（write alias)将更新为指向新索引，所有后续更新都将写入新索引。 对于基于时间的rollover来说，基于大小，文档数或使用期限过渡至新索引是比较适合的。 在任意时间ro
阅读全文
posted @ 2019-12-23 15:30
哈喽哈喽111111
阅读(7478)
推荐(0)
摘要：
在我们的实际部署中，我们的各个node（节点）的能力是不一样的。比如有的节点的计算能力比较强，而且配有高性能的存储，速度也比较快，同时我们可能有一些node的能力稍微差一点，比如计算能力及存储器的速度都比较差一点。针对这两种情况，我们其实可以把这两种节点用来做不同的用途：运算能力较强的节点可以用来做
阅读全文
posted @ 2019-12-23 15:18
哈喽哈喽111111
阅读(869)
推荐(0)
摘要：
如果您要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。 要在索引的生命周期内自动移动索引，可以创建策略来定义随着索引的老
阅读全文
posted @ 2019-12-23 14:50
哈喽哈喽111111
阅读(6070)
推荐(1)
摘要：
Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的
阅读全文
posted @ 2019-12-23 14:31
哈喽哈喽111111
阅读(3019)
推荐(0)
摘要：
我们之前看见了在Elasticsearch里的ingest node里，我们可以通过以下processor的处理帮我们处理我们的一些数据。它们的功能是非常具体而明确的。那么在Elasticsearch里，有没有一种更加灵活的方式可供我们来进行编程处理呢？如果有，它使用的语言是什么呢？ 在Elasti
阅读全文
posted @ 2019-12-23 14:30
哈喽哈喽111111
阅读(15871)
推荐(1)
摘要：
Elasticsearch最重要的功能之一是它试图摆脱你的方式，让你尽快开始探索你的数据。 要索引文档，您不必首先创建索引，定义映射类型和定义字段 您只需索引文档，那么index，type和field将自动生效。比如： PUT data/_doc/1 { "count": 5 } 上面的命令将自动帮
阅读全文
posted @ 2019-12-23 14:30
哈喽哈喽111111
阅读(834)
推荐(0)
posted @ 2019-12-23 11:48
哈喽哈喽111111
阅读(332)
推荐(0)
摘要：
默认情况下，每个主分片都有一个副本，但可以在现有索引上动态更改副本数。 永远不会在与其主分片相同的节点上启动副本分片。 分片分布计算公式： 写入到Elasticsearch的文档，在默认的情况下并不马上可以进行搜索。这是因为在Elasticsearch的设计中，有一个叫做refresh的操作。它可以
阅读全文
posted @ 2019-12-22 09:19
哈喽哈喽111111
阅读(250)
推荐(0)
摘要：
curl命令使用账号密码连接es pretty的用法
阅读全文
posted @ 2019-12-22 08:45
哈喽哈喽111111
阅读(355)
推荐(0)
摘要：
安装 因为我们需要使用docker来进行安装，我们必须安装： docker：根据不同的操作系统，请按照要求安装docker。可以到网站https://docs.docker.com/去安装 docker compose。这个可以到网站https://docs.docker.com/compose/i
阅读全文
posted @ 2019-12-21 13:18
哈喽哈喽111111
阅读(1853)
推荐(0)
摘要：
Elastic：使用Heartbeat进行Uptime监控 Elastic在6.5的版本中推出Heartbeat。Heartbeat 也就是我们通常所说的心跳。我们知道在医院，医生是用听心跳来判断一个人是否有生命迹象。在Elastic的Heartbeat里，它也是一样的道理。Heartbeat是一个
阅读全文
posted @ 2019-12-21 13:06
哈喽哈喽111111
阅读(3848)
推荐(0)
摘要：
Elastic：如何在一个机器上同时模拟多个node 第一步：下载并安装Elasticsearch 先不要运行Elasticsearch。 第二步：运行Elasticsearch实例 现在，我们将展示如何启动您的第一个实例。 为此，请打开终端并转到Elasticsearch的安装目录。 然后使用以下
阅读全文
posted @ 2019-12-21 12:47
哈喽哈喽111111
阅读(695)
推荐(1)
摘要：
Elastic: 使用索引生命周期管理实现热温冷架构 索引生命周期管理 (ILM) 是在 Elasticsearch 6.6（公测版）首次引入并在 6.7 版正式推出的一项功能。ILM 是 Elasticsearch 的一部分，主要用来帮助您管理索引。 在本篇博客中，我们将探讨如何使用 ILM 实现
阅读全文
posted @ 2019-12-21 12:45
哈喽哈喽111111
阅读(1500)
推荐(0)
摘要：
需要学习的地方：使用logstash获取数据后，然后根据这些数据再从MySQL数据库中进行匹配，增加一些数据到logstash的数据流中，然后输出到es 在IoT物联网时代，我们经常会遇到从传感器采集数据的情况。这些传感器，可以上传物联网数据，比如温度，湿度。通常这些传感器带有自己的ID，但是它并不
阅读全文
posted @ 2019-12-21 12:33
哈喽哈喽111111
阅读(937)
推荐(0)
摘要：
Logstash：多个配置文件（conf） 对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker的处理，最后输出到output。这个output
阅读全文
posted @ 2019-12-21 12:24
哈喽哈喽111111
阅读(5293)
推荐(1)
摘要：
Logstash：处理多个input Logstash的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标
阅读全文
posted @ 2019-12-21 12:19
哈喽哈喽111111
阅读(11624)
推荐(1)
摘要：
为了充分利用 Elasticsearch 提供的强大搜索功能，很多公司都会在既有关系型数据库的基础上再部署Elasticsearch。在这种情况下，很可能需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。因此，在本篇博文中，我会演示如何使用 Logstash 来高效地复制数
阅读全文
posted @ 2019-12-21 12:16
哈喽哈喽111111
阅读(702)
推荐(0)
摘要：
Logstash：把MySQL数据导入到Elasticsearch中 前提条件 需要安装好Elasticsearch及Kibana。 MySQL安装 根据不同的操作系统我们分别对MySQL进行安装。我们可以访问网页来对MySQL进行安装。等我们安装完我们的MySQL后，在我们的terminal中，打
阅读全文
posted @ 2019-12-21 12:05
哈喽哈喽111111
阅读(3464)
推荐(1)
摘要：
apache日志 日志格式 csv文件
阅读全文
posted @ 2019-12-21 11:59
哈喽哈喽111111
阅读(860)
推荐(0)
摘要：
Logstash：Data转换，分析，提取，丰富及核心操作 Logstash plugins Logstash是一个非常容易进行扩张的框架。它可以对各种的数据进行分析处理。这依赖于目前提供的超过200多个plugin。 首先，我们来查看一下目前有哪些plugin： Input plugins 首先进
阅读全文
posted @ 2019-12-21 11:58
哈喽哈喽111111
阅读(2677)
推荐(0)
摘要：
需要学习的地方：概念，用法，模块使用 Elastic Beats介绍 Elastic Stack传统上由三个主要组件（Elasticsearch，Logstash和Kibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用 一个针对不同用例的日志运送者系列。 现在网
阅读全文
posted @ 2019-12-21 11:27
哈喽哈喽111111
阅读(4417)
推荐(0)
摘要：
学习的地方：配置文件中预先处理字段数据的用法 通过Filebeat把日志传入到Elasticsearch Elastic Stack被称之为ELK (Elasticsearch，Logstash and Kibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beat
阅读全文
posted @ 2019-12-21 11:23
哈喽哈喽111111
阅读(9866)
推荐(1)
摘要：
Auditbeat使用介绍 Auditbeat是一种轻量级的数据收集器，您可以将其安装在服务器上，以审核系统上用户和进程的活动。 例如，您可以使用Auditbeat从Linux Audit Framework收集和集中审核事件。 您还可以使用Auditbeat来检测对关键文件（如二进制文件和配置文件
阅读全文
posted @ 2019-12-21 11:16
哈喽哈喽111111
阅读(5149)
推荐(0)
摘要：
利用ingest node所提供的Pipeline帮我们对数据进行处理。 在Elasticsearch中的配置文件elasticsearch.yml文件中配置： ingest node提供了在对文档建立索引之前对其进行预处理的功能： 接收节点拦截索引或批量API请求 运用转换（transformat
阅读全文
posted @ 2019-12-21 11:01
哈喽哈喽111111
阅读(1635)
推荐(0)
摘要：
Elastic安全机制 在很多的情况下，出于安全的原因，我们需要对不同的Kibana用户分配不同的用户权限，这样使得他们之间不能互相访问彼此的资源，同 时他们也应该对不同的索引拥有不同的权限，比如读，写，管理等等。Elastic Security通过基于角色的功能提供授权存取控制（RBAC Role
阅读全文
posted @ 2019-12-20 19:37
哈喽哈喽111111
阅读(4079)
推荐(0)
摘要：
配置主机hosts文件 说明： 192.168.75.20主机上配置filebeat，logstash和kibana 192.168.75.22主机上配置elasticsearch instances.yml文件内容 存储路径：/usr/share/elasticsearch 生成证书 es配置 设
阅读全文
posted @ 2019-12-18 18:53
哈喽哈喽111111
阅读(5233)
推荐(0)
摘要：
输出json 输出rubydebug
阅读全文
posted @ 2019-12-18 11:29
哈喽哈喽111111
阅读(3355)
推荐(0)
摘要：
前提条件，es集群内部各节点已开启https访问，集群也已开启x pack安全功能，并设置了系统默认的用户密码等，具体操作详见：https://www.cnblogs.com/sanduzxcvbnm/p/12046640.html 在ES节点上创建logstash_write_role角色 方法一
阅读全文
posted @ 2019-12-18 10:07
哈喽哈喽111111
阅读(4549)
推荐(0)
摘要：
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法： 修改/etc/hadoop/hadoop env.sh中设JAVA_HOME。 应当使用绝对路径。 //错误，不能这么改 //正确，应该这么改
阅读全文
posted @ 2019-12-18 10:06
哈喽哈喽111111
阅读(4543)
推荐(1)
摘要：
为了保证应用日志数据的传输安全，我们可以使用SSL相互身份验证来保护Filebeat和Logstash之间的连接。 这可以确保Filebeat仅将加密数据发送到受信任的Logstash服务器，并确保Logstash服务器仅从受信任的Filebeat客户端接收数据。 下面就讲述一下配置Filebeat
阅读全文
posted @ 2019-12-17 16:00
哈喽哈喽111111
阅读(5518)
推荐(0)
摘要：
crt格式转pem 重命名 我们可以直接把fullchain.pem重命名为“fullchain.crt 把privkey.pem重命名为privkey.key
阅读全文
posted @ 2019-12-17 13:43
哈喽哈喽111111
阅读(1002)
推荐(0)
摘要：
地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/certutil.html 语法： 语法解析： 模式 三种模式说明 参数详解： 参数翻译： 举例： 举例说明： 以下命令生成PKCS＃12格式的CA证书和私钥： 提示您输入输
阅读全文
posted @ 2019-12-17 12:36
哈喽哈喽111111
阅读(5064)
推荐(0)
摘要：
1.创建CA证书 2.生成节点使用的证书 提取出pem证书 不知道是啥的证书 批量生成证书 官方文档证书生成 官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/master/encrypting communications c
阅读全文
posted @ 2019-12-17 11:44
哈喽哈喽111111
阅读(2344)
推荐(0)
摘要：
logstash的配置文件conf经常会涉及敏感信息，比如ES，mysql的账户密码等，以下使用logstash导入mysql为例子，加密隐藏mysql的密码。 在向keystore中添加key及其secret值之后，你可以在配置敏感设置时使用key代替secret值。 引用key的语法与环境变量的
阅读全文
posted @ 2019-12-16 12:03
哈喽哈喽111111
阅读(3873)
推荐(0)
摘要：
一台主机，ip:192.168.80.10,运行一个es，一个kibana 实现的效果 1. es集群内部开启证书验证才能加入集群 2. kibana与es集群通信使用https方式 3. 访问es集群节点使用https方式 4. 使用浏览器访问kibana使用https方式 后期考虑把logsta
阅读全文
posted @ 2019-12-15 23:36
哈喽哈喽111111
阅读(3632)
推荐(1)
摘要：
用途：迁移数据到其他节点上的时候需要用这个
阅读全文
posted @ 2019-12-13 17:35
哈喽哈喽111111
阅读(2919)
推荐(0)
摘要：
请求体查询 简单查询语句(lite)是一种有效的命令行ad hoc查询。但是，如果你想要善用搜索，你必须使用请求体查询(request body search)API。之所以这么称呼，是因为大多数的参数以JSON格式所容纳而非查询字符串。 请求体查询(下文简称查询)，并不仅仅用来处理查询，而且还可以
阅读全文
posted @ 2019-12-13 17:10
哈喽哈喽111111
阅读(674)
推荐(0)
浙公网安备 33010602011771号