Elasticsearch介绍

Elasticsearch介绍

• Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎（Java开发，在Apache开源协议）
• Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据
• 使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，使得全文检索变得简单
• 设计用途：用于分布式全文检索，通过HTTP使用JSON进行数据索引，速度快

Lucene与Elasticsearch关系

• Elasticsearch基于Lucene

Elasticsearch 和 solr比较

• Solr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。
• Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr是最流行的企业级搜索引擎，Solr4 还增加了NoSQL支持。
• Solr是用Java编写、运行在Servlet容器（如 Apache Tomcat 或Jetty）的一个独立的全文搜索服务器。 Solr采用了 Lucene Java 搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。
• Solr强大的外部配置功能使得无需进行Java编码，便可对 其进行调整以适应多种类型的应用程序。Solr有一个插件架构，以支持更多的高级定制

Elasticsearch 与 Solr 的比较总结

1. 二者安装都很简单
2. Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能
3. Solr 支持更多格式的数据，而 Elasticsearch 仅支持json文件格式
4. Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供
5. Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch
6. Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用

Elasticsearch核心概念

• Cluster集群：elasticsearch可以运行在多台服务器上，这些服务器的集合称为集群
• Node节点：集群中的每一台机器叫一个节点
• Shard分片：当节点不足时，数据可以分为较小的分片，每个分片放到不同的服务器上
• Replia副本：相当于主从当中的从
• 全文检索：把搜索关键词根据词的意义进行分词，然后分别创建索引去查询

Elasticsearch特点和优势

• 分布式实时文件存储，可将每一个字段存入索引，使其可以被检索到。
• 实时分析的分布式搜索引擎。（分布式：索引分拆成多个分片，每个分片可有零个或多个副本。集群中的每个数据节点都可承载一个或多个分片，并且协调和处理各种操作；负载再平衡和路由在大多数情况下自动完成。）
• 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
• 支持插件机制，分词插件、同步插件、Hadoop插件、可视化插件等。

ELK

主要作用是做日志收集和分析

// ELK = elasticsearch + Logstash + kibana
elasticsearch：后台分布式存储以及全文检索
logstash: 日志加工、“搬运工”
kibana：数据可视化展示。
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合，取长补短，共同完成分布式大数据处理工作。