随笔分类 - 工作总结
摘要：setting 通过setting可以更改es配置可以用来修改副本数和分片数。 1：查看，通过curl或浏览器可以看到副本分片信息 curl XGET http://192.168.79.131:9200/shb01/_settings?pretty http://192.168.79.1
阅读全文
摘要：Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Ap
阅读全文
摘要：前言：目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：elasticsearch jdbc, elasticsearch river MySQL , go mysql elasticsearch, logstash input jdbc。 本文
阅读全文
摘要：面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 1、背景介绍 最近搞es搜索，match查询默认按照评分排序，发现有一部分数据评分一致，一开始也没注意，客户端调用分页的时候，突然发现数据重复错乱很严重。挖槽顿时觉得，挖槽怎么那么坑。from
阅读全文
摘要：<! flowchart 箭头图标 勿删 题目：使用scroll实现Elasticsearch数据遍历和深度分页 作者：星爷 出处： http://lxWei.github.io/posts/%E4%BD%BF%E7%94%A8scroll%E5%AE%9E%E7%8E%B0Elasticsearc
阅读全文
摘要： Java异常处理之InvocationTargetException（反射异常） InvocationTargetException异常由Method.invoke(obj, args...)方法抛出。当被调用的方法的内部抛出了异常而没有被捕获时，将由此异常接收！！！ 示例
阅读全文
摘要：如何快速检索？ Elasticsearch 是通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在 18 和 30 之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的 b tree 索引快在哪里？到底为什么快呢？
阅读全文
摘要：什么是时间序列数据？最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格，环境中的温度，主机的CPU使用率等。但是又有什么数据是不包含timestamp的呢？几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时
阅读全文
摘要：Elasticsearch－基础介绍及索引原理分析 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时
阅读全文
摘要：<! flowchart 箭头图标 勿删 架构原理 本书作为 Elastic Stack 指南，关注于 Elasticsearch 在日志和数据分析场景的应用，并不打算对底层的 Lucene 原理或者 Java 编程做详细的介绍，但是 Elasticsearch 层面上的一些架构设计，对我们做性能调
阅读全文
摘要：演讲者: 文霜兰 演讲时间:2014 8 7 1、Beyond Compare 官网：http://www.scootersoftware.com/ 支持文本比较、文件夹比较、MP3比较、图片比较、注册表比较、十六进制比较等，此外还有同步合并功能。这是一款收费软件, Beyond Co
阅读全文
摘要：参考：http://blog.csdn.net/wzhg0508/article/details/52063676 Elasticsearch 5.0 简介(medcl微信直播实录) 大家好，非常高兴能在这里给大家分享，感谢InfoQ提供的这个微信的平台，首先简单自我介绍一下，我叫曾勇，是Elast
阅读全文
摘要： es一次请求默认返回的数据条数是10条，可以通过设置size参数来控制返回数据的条数： 如果要返回很多数据，可以把size设置的很大，不过elastic search默认size最大不能超过1万。 那么如果数据量很大，超过1万，而又想要把所有数据都拉出来怎么办呢？ 有三种方法：聚合，修
阅读全文
摘要：ES scroll（ES游标） 解决深分页。 Why 当Elasticsearch响应请求时，它必须确定docs的顺序，排列响应结果。如果请求的页数较少（假设每页20个docs）, Elasticsearch不会有什么问题，但是如果页数较大时，比如请求第20页，Elasticsearch不得不取出第
阅读全文
摘要：如果一次性要查出来比如10万条数据，那么性能会很差，此时一般会采取用scoll滚动查询，一批一批的查，直到所有数据都查询完处理完 使用scoll滚动搜索，可以先搜索一批数据，然后下次再搜索一批数据，以此类推，直到搜索出全部的数据来 scoll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只会
阅读全文
摘要：启动两个client，过了一会，停了其中一个，访问注册中心时，界面上显示了红色粗体警告信息： 查阅了很多资料，终于了解了中间的问题。现将理解整理如下： Eureka server和client之间每隔30秒会进行一次心跳通信，告诉server，client还活着。由此引出两个名词： Ren
阅读全文
摘要：Quartz 并发/单线程 Quartz定时任务默认都是并发执行的，不会等待上一次任务执行完毕，只要间隔时间到就会执行, 如果定时任执行太长，会长时间占用资源，导致其它任务堵塞。1.在Spring中这时需要设置concurrent的值为false, 禁止并发执行。 <propert
阅读全文
摘要：转载请注明出处：http://blog.csdn.net/tobewhatyouwanttobe/article/details/51180977 1.递归 定义：程序调用自身的编程技巧称为递归。 栈与递归的关系：递归是借助于系统栈来实现的。每次递归调用，系统都要为该次调用分配一系列的栈空间用于存放
阅读全文
摘要：最近在优化部分业务的搜索吞吐率，结合之前优化过写请求的经验，想和大家讨论下我对es分片在不同场景下的分配策略的思路 原先普通索引我的分片策略是： 主分片=节点数，副本=1，这样可以保证业务数据一定的可用性（丢失一个节点数据完整），且书局是均匀的读写请求在各个节点也是均匀的。
阅读全文
摘要：离线分析系统的结构图 整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件，并存储在Hadoop HDFS文件系统上，再接着用Hadoop的mapreduce清洗日志文件，最
阅读全文
浙公网安备 33010602011771号