打赏

随笔分类 -  ELK(Elasticsearch/Logstash/Kibana)概念学习系列

摘要:正向索引的结构如下: “文档1”的ID > 单词1:出现次数,出现位置列表;单词2:出现次数,出现位置列表;…………。 “文档2”的ID > 此文档出现的关键词列表。 一般是通过key,去找value。 当用户在主页上搜索关键词“华为手机”时,假设只存在正向索引(forward index),那么就 阅读全文
posted @ 2017-07-06 17:25 大数据和AI躺过的坑 阅读(3013) 评论(0) 推荐(0) 编辑
摘要:问题详情 我的es集群,开启后,都好久了,一直报red状态??? 问题分析 有两个分片数据好像丢了。 不知道你这数据怎么丢的。 确认下本地到底还有没有,本地要是确认没了,那数据就丢了,删除索引重建吧 删除,是这三个索引库 解决方法(一般若是作为测试而言的索引库的话,这么干) 问题得以解决! 阅读全文
posted @ 2017-07-06 00:15 大数据和AI躺过的坑 阅读(15688) 评论(0) 推荐(1) 编辑
摘要:普通关系型数据库使用的是(悲观并发控制(PCC)) 当我们在修改一个数据前先锁定这一行,然后确保只有读取到数据的这个线程可以修改这一行数据 ES使用的是(乐观并发控制(OCC)) ES不会阻止某一数据的访问,然而,如果基础数据在我们读取和写入的间隔中发生了变化,更新就会失败,这时候就由程序来决定如何 阅读全文
posted @ 2017-07-01 12:14 大数据和AI躺过的坑 阅读(4798) 评论(0) 推荐(0) 编辑
摘要:大家,也可去看看我下面的博客 Elasticsearch之批量操作bulk 官网上,是举例了新建一个requests文件。 然后,执行批量操作 得到 官网 阅读全文
posted @ 2017-07-01 11:34 大数据和AI躺过的坑 阅读(4703) 评论(0) 推荐(0) 编辑
摘要:也可以看我写的下面的博客 Elasticsearch之curl删除 Elasticsearch之curl删除索引库 删除,某一条数据,如下 得到 如果我们想要删除的文档存在,则found属性值为true,_version属性的值+1。 如果我们想要删除的文档不存在,found属性值false,但是_ 阅读全文
posted @ 2017-07-01 11:05 大数据和AI躺过的坑 阅读(11635) 评论(0) 推荐(0) 编辑
摘要:对于,Elasticsearch之CURL命令的UPDATE包括局部更新和全部更新。可以去看我写的另一篇博客。 Elasticsearch之更新(全部更新和局部更新) 总结: ES全部更新,使用PUT或者POST ES局部更新,使用POST ES可以使用PUT或者POST对文档进行更新(包括局部更新 阅读全文
posted @ 2017-07-01 10:56 大数据和AI躺过的坑 阅读(4040) 评论(0) 推荐(0) 编辑
摘要:如果只想检查一些文档是否存在,我们可以使用HEAD来替代GET方法,这样就只会返回HTTP头文件。 阅读全文
posted @ 2017-07-01 10:42 大数据和AI躺过的坑 阅读(1799) 评论(0) 推荐(0) 编辑
摘要:我这里, 再,创建一个zhouls2的索引库。 得到 在新创建的索引库zhouls2里,添加一条数据进去。 得到 如下,是我用mget命令,为大家演示,通过xmget命令来获取多个文档 如果我们需要的文档在同一个_index或者同一个_type中,我们就可以在URL中指定一个默认的/_index或者 阅读全文
posted @ 2017-07-01 10:31 大数据和AI躺过的坑 阅读(1383) 评论(0) 推荐(0) 编辑
摘要:问题详情 排查问题 解决办法 1、 2、 3、新建索引库和索引,进入,去测试有没有数据。 4、再把时间,调大点 原因定位于,是在 license过期了 、 点击,进入Get Basic,去完成注册的工作。 这里,大家自行去注册吧!我不贴图。注册好之后,然后大家去自己的邮箱点击生效即可。 注意: Re 阅读全文
posted @ 2017-06-30 10:36 大数据和AI躺过的坑 阅读(2805) 评论(0) 推荐(0) 编辑
摘要:1:启动Elasticsearch2:bin/logstash -e 'input { stdin { } } output { elasticsearch { host => localhost } }'3:访问url验证http://localhost:9200/ 继续 阅读全文
posted @ 2017-03-26 23:05 大数据和AI躺过的坑 阅读(904) 评论(0) 推荐(0) 编辑
摘要:继续 阅读全文
posted @ 2017-03-26 23:04 大数据和AI躺过的坑 阅读(2945) 评论(0) 推荐(0) 编辑
摘要:前期博客 Logstash安装和设置(图文详解)(多节点的ELK集群安装在一个节点就好) Filebeat啊,根据input来监控数据,根据output来使用数据!!! 请移步, Filebeat之input和output(包含Elasticsearch Output 、Logstash Outpu 阅读全文
posted @ 2017-03-26 22:32 大数据和AI躺过的坑 阅读(3054) 评论(0) 推荐(0) 编辑
摘要:前提博客 https://i.cnblogs.com/posts?categoryid=972313 Filebeat啊,根据input来监控数据,根据output来使用数据!!! Filebeat的input 通过paths属性指定要监控的数据 Filebeat的output 1、Elastics 阅读全文
posted @ 2017-03-26 16:11 大数据和AI躺过的坑 阅读(27482) 评论(0) 推荐(0) 编辑
摘要:filebeat.yml,是在filebeat安装目录。 filebeat.yml(中文配置详解) 阅读全文
posted @ 2017-03-26 11:06 大数据和AI躺过的坑 阅读(96329) 评论(0) 推荐(11) 编辑
摘要:1:es集群脑裂问题(不要用外网ip,节点角色不要混用) 原因1:阿里云服务器,外网有时候不稳定。 解决方案:单独采购服务器,内网安装 原因2:master和node节点没有分开 解决方案: 分角色:master节点(三台),data节点(随着数据增加而增加),client(随着查询压力而增加)节点 阅读全文
posted @ 2017-03-26 00:13 大数据和AI躺过的坑 阅读(10721) 评论(0) 推荐(0) 编辑
摘要:其实,elasticsearch5.x 和 elasticsearch2.x 并不区别很大。 是因为,ELK里之前版本各种很混乱,直接升级到5.0了。 其实,elasticsearch5.x 按理来说是elasticsearch3.x,只是为了跟随ELK整体版本的统一。 下面给大家介绍一下 5.0  阅读全文
posted @ 2017-03-26 00:04 大数据和AI躺过的坑 阅读(36866) 评论(3) 推荐(2) 编辑
摘要:前期博客是 Elasticsearch之源码编译 Elasticsearch之源码编译 (1)elasticsearch在建立索引时,根据id或(id,类型)进行hash,得到hash值之后再与该索引的分片数量取模,取模的值即为存入的分片编号。源码:org.elasticsearch.cluster 阅读全文
posted @ 2017-03-25 22:00 大数据和AI躺过的坑 阅读(1613) 评论(0) 推荐(0) 编辑
摘要:前期博客 Elasticsearch之下载源码 步骤 (1)首先去git下载源码 https://github.com/elastic/elasticsearch/tree/v2.4.3 下载下来,得到 解压 (2)使用mvn编译打包 我一般,用maven 3.3.9版本,这里不多说。 如果,mav 阅读全文
posted @ 2017-03-25 21:49 大数据和AI躺过的坑 阅读(3468) 评论(0) 推荐(0) 编辑
摘要:(1)在使用java代码操作es集群的时候 要保证本地使用的es的版本和集群上es的版本保持一致。 (2)保证集群中每个节点的JDK版本和es基本配置一致 这个很简单,不多说。 (3)es集群中jdk版本不一致 可能会导致这个问题:org.elasticsearch.transport.Remote 阅读全文
posted @ 2017-03-25 20:26 大数据和AI躺过的坑 阅读(12308) 评论(0) 推荐(0) 编辑
摘要:REST 简介-定义 REST (REpresentation State Transfer)描述了一个架构样式的网络系统,比如 web 应用程序。它首次出现在 2000 年 Roy Fielding 的博士论文中,他是 HTTP 规范的主要编写者之一。REST 指的是一组架构约束条件和原则。满足这 阅读全文
posted @ 2017-03-25 16:03 大数据和AI躺过的坑 阅读(1245) 评论(0) 推荐(0) 编辑