随笔档案「2018年8月」 - 啊哈哈哈哈-

elasticsearch聚合操作——本质就是针对搜索后的结果使用桶bucket（允许嵌套）进行group by，统计下分组结果，包括min/max/avg

摘要：分析 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是什么： GET .monitoring-es-6-2018.08.16/_se 阅读全文

posted @ 2018-08-22 19:27 啊哈哈哈哈- 阅读(487) 评论(0) 推荐(0)

ElasticSearch聚合

摘要：前言说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggregations)，聚合功能为ES注入了统计分析的血统，使用户在面对大数据提取统计指标时变得游刃有余。同样的工作，你在Hadoop中可能需要写mapreduce或Hive，在mongo中你必须得用大段的mapreduc 阅读全文

posted @ 2018-08-22 19:09 啊哈哈哈哈- 阅读(3980) 评论(0) 推荐(0)

ElasticSearch 常用的查询过滤语句

摘要：Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { "term": { "age": 26 }} { "term": { "date": "2014-09-01" }} { "term": 阅读全文

posted @ 2018-08-22 18:08 啊哈哈哈哈- 阅读(444) 评论(0) 推荐(0)

ElasticSearch 分组查询的几个例子

摘要：facets接口可以根据query返回统计数据，其中的 terms_stats 是分组统计，根据key的情况返回value的统计数据，类似group by的意思。 "terms_stats" : { "key_field" : "", "value_field" : "" } 例子：查询每个ip的请阅读全文

posted @ 2018-08-22 17:53 啊哈哈哈哈- 阅读(9264) 评论(0) 推荐(0)

Elasticsearch--Aggregation详细总结（聚合统计）

摘要：Elasticsearch的Aggregation功能也异常强悍。 Aggregation共分为三种：Metric Aggregations、Bucket Aggregations、 Pipeline Aggregations。下面将分别进行总结。以下所有内容都来自官网：喜欢原汁原味的参看下方网址阅读全文

posted @ 2018-08-22 17:45 啊哈哈哈哈- 阅读(13228) 评论(0) 推荐(0)

elasticSearch聚合sum查询

摘要：有时需要统计一段时间内，订单的总金额。类似于sql的sum，针对某一字段求和。这就涉及到es的聚合查询，来看看用spring-data-elasticSearch怎么写： QueryBuilder queryBuilder = QueryBuilders.boolQuery() QueryBuild 阅读全文

posted @ 2018-08-22 17:36 啊哈哈哈哈- 阅读(2378) 评论(0) 推荐(0)

Elasticsearch的DSL之比较重要的几个查询语句

摘要：1. match_all { "match_all": {}} 匹配所有的，当不给查询条件时，默认。 2. match 进行full text search或者exact value(非string字段或not_analyzed的字段)，进行匹配 3. multi_match 同时对多个字段进行同阅读全文

posted @ 2018-08-22 15:25 啊哈哈哈哈- 阅读(1982) 评论(0) 推荐(0)

Elasticsearch - 简单介绍

摘要：Elasticsearch 简介 1. 什么是 Elasticsearch ElasticSearch 是一个基于 Lucene 的搜索服务器。它了一个分布式多用户能力的全文搜索引擎，能够达到实时、稳定、可靠、快速搜索。也可以看做是布式的实时文件存储，每个字段都能被索引并可被搜索。目前大多阅读全文

posted @ 2018-08-21 16:49 啊哈哈哈哈- 阅读(522) 评论(0) 推荐(0)

ElasticSearch的 Query DSL 和 Filter DSL

摘要：Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。 Query DSL 与 Filter DSL DSL查询语言中存在两种：查询DSL（query DSL）和过滤DSL（filter DSL）。 query DSL 在查询上下文中，查询会阅读全文

posted @ 2018-08-21 16:04 啊哈哈哈哈- 阅读(916) 评论(0) 推荐(0)

Java 反射机制

摘要：Java 反射一、简介反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为 java 语言的反射机制。二、作用在运行时构造任意一个类的对象；在运行时判断任意一个类所阅读全文

posted @ 2018-08-21 12:29 啊哈哈哈哈- 阅读(253) 评论(0) 推荐(0)

Elasticsearch 关键字：索引，类型，字段，索引状态，mapping，文档

摘要：1. 索引（_index）索引：说的就是数据库的名字。我这个说法是对应到咱经常使用的数据库。结合es的插件 head 来看。可以看到，我这个地方，就有这么几个索引，索引就是数据库，后面是这个数据库占用多大空间，以及里面有多少条docs，也就是里面有多少条数据。（下面这些话算是我从其他地方复制官阅读全文

posted @ 2018-08-21 10:22 啊哈哈哈哈- 阅读(17569) 评论(0) 推荐(0)

es搜索引擎

摘要：1、es简介 2、es优缺点 3、es使用 4、es可以解决的问题 5、es举例 6、es执行结果截图 7、es数据增量方案 8、使用es搜索一、es简介 es是一个是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可阅读全文

posted @ 2018-08-20 16:47 啊哈哈哈哈- 阅读(2604) 评论(0) 推荐(0)

elasticsearch数据输入和输出

摘要：Elastcisearch 是分布式的文档存储。它能存储和检索复杂的数据结构–序列化成为JSON文档–以实时的方式。换句话说，一旦一个文档被存储在 Elasticsearch 中，它就是可以被集群中的任意节点检索到。在 Elasticsearch 中，每个字段的所有数据都是默认被索阅读全文

posted @ 2018-08-20 16:09 啊哈哈哈哈- 阅读(4347) 评论(0) 推荐(0)

elasticsearch判断索引是否存在

摘要：一、判断索引是否存在指定索引名，判断指定的索引是否存在集群中二、判断索引指定类型是否存在阅读全文

posted @ 2018-08-20 15:46 啊哈哈哈哈- 阅读(11596) 评论(0) 推荐(0)

elasticsearch elk最全java api 搜索聚合、嵌套查询

摘要：目录一、一般查询... 2 （一） matchAllQuery(client). 2 （二） matchQuery(client);3 （三） multiMatchQuery(client);3 （四） wildcardQuery()模糊查询... 3 （五） commonTermQuery(c 阅读全文

posted @ 2018-08-20 15:42 啊哈哈哈哈- 阅读(4382) 评论(0) 推荐(0)

elk之查询方式（4种）

摘要：es 在查询时，可以指定搜索类型为下面四种： QUERY_THEN_FETCH QUERY_AND_FEATCH DFS_QUERY_THEN_FEATCH DFS_QUERY_AND_FEATCH 1、 query and fetch 向索引的所有分片（ shard）都发出查询请求，各分片返阅读全文

posted @ 2018-08-20 15:41 啊哈哈哈哈- 阅读(1887) 评论(0) 推荐(0)

Elasticsearch之配置详解

摘要：Cluster 集群名称，默认为elasticsearch： cluster.name: elasticsearch 设置一个节点的并发数量，有两种情况，一种是在初始复苏过程中： cluster.routing.allocation.node_initial_primaries_recoveries 阅读全文

posted @ 2018-08-20 15:38 啊哈哈哈哈- 阅读(1278) 评论(0) 推荐(0)

Spring Data Elasticsearch 和 x-pack 用户名/密码验证连接

摘要：Elasticsearch Java API 客户端连接一个是TransportClient，一个是NodeClient，还有一个XPackTransportClient TransportClient：作为一个外部访问者，请求ES的集群，对于集群而言，它是一个外部因素。 NodeClient 阅读全文

posted @ 2018-08-20 15:36 啊哈哈哈哈- 阅读(11031) 评论(0) 推荐(0)

从MVC到前后端分离

摘要：一. MVC 概述 1. 理解 MVC MVC是一种经典的设计模式，全名为Model-View-Controller，即模型-视图-控制器。其中，模型是用于封装数据的载体，例如，在Java中一般通过一个简单的POJO（Plain Ordinary Java Object）来表示，其本质是一个普通的j 阅读全文

posted @ 2018-08-14 18:15 啊哈哈哈哈- 阅读(1855) 评论(0) 推荐(0)

MySQL 常用30种SQL查询语句优化方法

摘要：1、应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引阅读全文

posted @ 2018-08-14 18:14 啊哈哈哈哈- 阅读(292) 评论(0) 推荐(0)

了解sso原理

摘要：阅读全文

posted @ 2018-08-09 15:44 啊哈哈哈哈- 阅读(242) 评论(0) 推荐(0)

高可用Redis服务架构分析与搭建

摘要：基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较阅读全文

posted @ 2018-08-09 15:37 啊哈哈哈哈- 阅读(250) 评论(0) 推荐(0)

Dubbo负载均衡与集群容错机制

摘要：1 Dubbo简介 Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。作为一个轻量级RPC框架，Dubbo的设计架构简洁清晰，主要组件包括Provider（服务提供者）,Consumer（服务消费者）阅读全文

posted @ 2018-08-09 15:19 啊哈哈哈哈- 阅读(4745) 评论(0) 推荐(0)

Vue2 实现树形菜单（多级菜单）功能模块

摘要：结构示意图 ├── index.html ├── main.js ├── router │ └── index.js # 路由配置文件 ├── components # 组件目录 │ ├── App.vue # 根组件 │ ├── Home.vue # 大的框架结构组件 │ ├── TreeView 阅读全文

posted @ 2018-08-08 17:09 啊哈哈哈哈- 阅读(38739) 评论(4) 推荐(0)

JVM原理分析

摘要：1 什么是JVM？ JVM是Java Virtual Machine（Java虚拟机）的缩写，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。由一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域等组成。JVM屏蔽了与操作系统平台相关的信息，使得Java程序只需要生成在Java 阅读全文

posted @ 2018-08-08 10:35 啊哈哈哈哈- 阅读(493) 评论(0) 推荐(0)

MySQL 大表优化方案

摘要：当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单阅读全文

posted @ 2018-08-08 10:30 啊哈哈哈哈- 阅读(282) 评论(0) 推荐(0)

mysql中Timestamp，time，datetime 区别??

摘要：TIMESTAMP[(M)]时间戳。范围是’1970-01-01 00:00:00’到2037年。TIMESTAMP列用于INSERT或UPDATE操作时记录日期和时间。如果你不分配一个值，表中的第一个TIMESTAMP列自动设置为最近操作的日期和时间。也可以通过分配一个NULL值，将TIMESTA 阅读全文

posted @ 2018-08-08 10:25 啊哈哈哈哈- 阅读(293) 评论(0) 推荐(0)