随笔分类 - 开发经验
摘要：一般情况下单台服务器只会部署一个ElasticSearch node，但是在学习过程中，很多情况下会需要实现ElasticSearch的分布式效果，所以需要启动多个节点，但是学习开发环境（不想开多个虚拟机实现多个服务器的效果），所以就想着在一台服务器上部署多个结点（下文以2个结点作为例子），两个节点
阅读全文
摘要：redis 五种数据结构详解（string，list，set，zset，hash） Redis不仅仅支持简单的key value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 String——字符串Hash——字典List——列表Set——集合Sorted Set——有
阅读全文
摘要：把Mysql的数据同步到Elasticsearch是个很常见的需求，但在Github里找到的同步工具用起来或多或少都有些别扭。 例如：某记录内容为"aaa|bbb|ccc"，将其按|分割成数组同步到es，这样的简单任务都难以实现，再加上配置繁琐，文档语焉不详... 所以我写了个同步工具MysqlsM
阅读全文
摘要：一、说明 ELK是当下流行的日志监控系统。ELK是Elasticsearch、Logstash、Kibana三个软件的统称。 在ELK日志监控系统中，Logstash负责读取和结构化各类日志+发送给Elasticsearch，Elasticsearch负责存储Logstash发送过来的日志+响应Ki
阅读全文
摘要：<! flowchart 箭头图标 勿删 1. 前言 profile API 是 Elasticsearch 5.x 的一个新接口。通过这个功能，可以看到一个搜索聚合请求，是如何拆分成底层的 Lucene 请求，并且显示每部分的耗时情况。 2. profile API 使用 可以通过在 query
阅读全文
摘要：setting 通过setting可以更改es配置可以用来修改副本数和分片数。 1：查看，通过curl或浏览器可以看到副本分片信息 curl XGET http://192.168.79.131:9200/shb01/_settings?pretty http://192.168.79.1
阅读全文
摘要：Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Ap
阅读全文
摘要：前言：目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：elasticsearch jdbc, elasticsearch river MySQL , go mysql elasticsearch, logstash input jdbc。 本文
阅读全文
摘要：面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 1、背景介绍 最近搞es搜索，match查询默认按照评分排序，发现有一部分数据评分一致，一开始也没注意，客户端调用分页的时候，突然发现数据重复错乱很严重。挖槽顿时觉得，挖槽怎么那么坑。from
阅读全文
摘要：<! flowchart 箭头图标 勿删 题目：使用scroll实现Elasticsearch数据遍历和深度分页 作者：星爷 出处： http://lxWei.github.io/posts/%E4%BD%BF%E7%94%A8scroll%E5%AE%9E%E7%8E%B0Elasticsearc
阅读全文
摘要： Java异常处理之InvocationTargetException（反射异常） InvocationTargetException异常由Method.invoke(obj, args...)方法抛出。当被调用的方法的内部抛出了异常而没有被捕获时，将由此异常接收！！！ 示例
阅读全文
摘要：如何快速检索？ Elasticsearch 是通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在 18 和 30 之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的 b tree 索引快在哪里？到底为什么快呢？
阅读全文
摘要：什么是时间序列数据？最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格，环境中的温度，主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢？几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时
阅读全文
摘要：Elasticsearch－基础介绍及索引原理分析 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时
阅读全文
摘要：<! flowchart 箭头图标 勿删 架构原理 本书作为 Elastic Stack 指南，关注于 Elasticsearch 在日志和数据分析场景的应用，并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍，但是 Elasticsearch 层面上的一些架构设计，对我们做性能调
阅读全文
摘要：演讲者: 文霜兰 演讲时间:2014 8 7 1、Beyond Compare 官网：http://www.scootersoftware.com/ 支持文本比较、文件夹比较、MP3比较、图片比较、注册表比较、十六进制比较等，此外还有同步合并功能。这是一款收费软件, Beyond Co
阅读全文
摘要：目录1. 概述2. 为什么JUC需要提供并发容器？3. JUC并发容器4. 参考资料 正文回到顶部1. 概述 java cocurrent包提供了很多并发容器，在提供并发控制的前提下，通过优化，提升性能。本文主要讨论常见的并发容器的实现机制和绝妙之处，但并不会对所有实现细节面面俱到。 回到
阅读全文
摘要：参考：http://blog.csdn.net/wzhg0508/article/details/52063676 Elasticsearch 5.0 简介(medcl微信直播实录) 大家好，非常高兴能在这里给大家分享，感谢InfoQ提供的这个微信的平台，首先简单自我介绍一下，我叫曾勇，是Elast
阅读全文
摘要： es一次请求默认返回的数据条数是10条，可以通过设置size参数来控制返回数据的条数： 如果要返回很多数据，可以把size设置的很大，不过elastic search默认size最大不能超过1万。 那么如果数据量很大，超过1万，而又想要把所有数据都拉出来怎么办呢？ 有三种方法：聚合，修
阅读全文
摘要：ES scroll（ES游标） 解决深分页。 Why 当Elasticsearch响应请求时，它必须确定docs的顺序，排列响应结果。如果请求的页数较少（假设每页20个docs）, Elasticsearch不会有什么问题，但是如果页数较大时，比如请求第20页，Elasticsearch不得不取出第
阅读全文
浙公网安备 33010602011771号