Elasticsearch 技术分析(一): 基础入门

💡简介

Elasticsearch是一个高度可扩展的、开源的、基于 Lucene 的全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据,并支持多租户。

Elasticsearch也使用Java开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的 RESTful API 来隐藏 Lucene 的复杂性,从而让全文搜索变得简单。

不过,Elasticsearch 不仅仅是 Lucene 和全文搜索,我们还能这样去描述它:

  • 分布式的实时文件存储,每个字段都被索引并可被搜索
  • 分布式的实时分析搜索引擎
  • 可以扩展到上百台服务器,处理PB级结构化或非结构化数据

而且,所有的这些功能被集成到一个服务里面,你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。

💡版本选择

在决定使用 Elasticsearch 的时候首先要考虑的是版本问题,Elasticsearch 目前有三个常用的稳定的主版本:2.x,5.x,6.x(排除 0.x 和 1.x)。

Elasticsearch 可以在这里查看所有历史版本,博主写这篇博文的时候最新的是 Elasticsearch 6.4.2。你可能会发现没有 3.x 和 4.x,ES 从 2.4.6 直接跳到了 5.0.0。这是为什么?

其实是为了ELK(ElasticSearch, logstash, kibana)技术栈的版本统一,免的给用户带来混乱。

我们知道 elasticsearch,kibana,logstash 都是 Elastic Stack 成员, 而且很多时候都是配合使用,那么为了协同开发,避免造成版本困惑,所以需要统一版本,至少保持在一个主版本号下。

在 Elasticsearch 是 2.x (2.x 的最后一版 2.4.6 的发布时间是 July 25, 2017) 的情况下,kibana 已经是 4.x(Kibana 4.6.5 的发布时间是 July 25, 2017),那么在 kibana 的下一主版本肯定是 5.x 了,所以 Elasticsearch 直接将自己的主版本发布为 5.0.0 了。统一之后,我们选版本就不会犹豫困惑了,我们选定 elasticsearch 的版本后再选择相同版本的 kibana 就行了,不用担忧版本不兼容的问题。

版本选择可以从以下几个方面考虑:

  • 版本问题
    2.x 版本较老,无法体验新功能,且性能不如 5.x。
    6.x 版本有点新,网上资料相对比较少(开发时间充足的可以研究)。
  • 数据迁移
    2.x 版本数据可以直接迁移到 5.x;
    5.X 版本的数据可以直接迁移到 6.x; 但是 2.x 版本数据无法直接迁移到 6.x。
  • 周边工具
    2.x 版本周边工具版本比较混乱;Kibana 等工具的对应版本需要自己查,不好匹配。
    5.x 之后 Kibana 等工具的主版本号进行了统一。
  • Sql 语法支持
    2.x,5.x,6.x 都可以安装 Elasticsearch-sql 插件,使用熟悉的SQL语法查询 Elasticsearch。
    6.3.0 以后内置支持 SQL 模块,这个 SQL 模块是属于 X-Pack 的一部分。

通过以上的版本号了解之后,综合考虑,我起始选择了 elasticsearch 6.4.0版本,其实主要是因为它新,kibana 也选择了 kibana 6.4.0。但是等本地开发完成准备部署的时候,运维通知切换到5.6.0,因为公司其他部门的是5.6.0,方便统一维护,还好 API 变化不大。

💡环境搭建

安装 Elasticsearch

Elasticsearch5.0之后的版本至少需要Java 8。可通过如下命令检查Java版本,然后根据需要进行相应的安装/升级。

java -version
echo $ JAVA_HOME

你可以从 elastic.co/download 下载你需要的版本的Elasticsearch,解压之后即可使用。

如果是集群形式的,可在 ...\elasticsearch-5.6.0\config\elasticsearch.yml 中配置一些你的集群信息:

cluster.name: my-application   # 集群名称
path.data: /path/to/data       # ES数据存储路径
path.logs: /path/to/logs       # ES日志存储路径
node.name: node-1              # 当前节点的名称
network.host: 192.168.0.1      # 配置当前结点绑定的IP地址,可设置为0.0.0.0
http.port: 9200                # 设置对外服务的HTTP端口,默认为9200

运行 Elasticsearch

elasticsearch 准备好之后,在安装目录中执行以下命令可以启动运行:

Linux
./bin/elasticsearch
Windows
D:\...\elasticsearch-6.4.0\bin\elasticsearch.bat

运行成功之后(启动日志里面会有.. started标志),浏览器访问http://localhost:9200/?pretty,你能看到类似以下返回信息(各版本稍微不同):

{
  "name" : "AGXQ3qy",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mg9t4Yi2TRud1JNwRY0bPA",
  "version" : {
    "number" : "6.4.0",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "595516e",
    "build_date" : "2018-08-17T23:18:47.308994Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

这说明你的 Elasticsearch 集群已经启动成功并且正常运行,接下来我们可以开始使用了。

💡可视化 web 界面

由于 Elasticsearch 的交互方式是 Rest 形式的,这种不是很直观方便,我们先安装图视化界面,方便我们操作。可选择的目前主要有 elasticsearch-head 和 kibana。

elasticsearch-head

elasticsearch-head 是一个用于浏览和与 elasticsearch 集群交互的Web前端。elasticsearch-head 是 elasticsearch 集群管理、数据可视化、增删查改、查询语句可视化工具。elasticsearch head 是托管的,可以在 github 下载或 fork。

有两种运行和安装elasticsearch-head的方法:

作为ElasticSearch的插件运行(这是首选方法)
  1. elasticsearch/bin/elasticsearch-plugin -install mobz/elasticsearch-head。
  2. open http://localhost:9200/_plugin/head/。

注意:
插件的安装方法,5.0之前为 plugin -install …,而在 5.0 以后为 elasticsearch-plugin -install …

作为独立的webapp运行
  1. git clone git://github.com/mobz/elasticsearch-head.git
  2. 在浏览器中打开 index.html。现代浏览器需要使用 es-head。
  3. 默认情况下,es-head 将尝试连接到http:// localhost:9200 /的集群节点。
  4. 在连接框中输入不同的节点地址,如果需要,单击“连接”。

成功后的界面如下,可以看到集群的状态信息:

由于 Head 安装起来比较麻烦( 需要安装 node.js ),网上资料也很多,所以我就不详细说了,更多信息可参考:elasticsearch-head

kibana

Kibana 和 elasticsearch 同属于 elastic 公司。 Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工作。您使用Kibana搜索,查看和与存储在 Elasticsearch 索引中的数据进行交互。您可以轻松地执行高级数据分析,并在各种图表,表格和地图中可视化您的数据。

Kibana 使您可以轻松理解大量数据。其简单的基于浏览器的界面使您能够快速创建和共享动态仪表板,实时显示 Elasticsearch 查询的更改。

设置 Kibana 非常容易。您可以安装 Kibana 并在几分钟内开始探索您的 Elasticsearch 索引 - 无需代码,无需额外的基础架构。

同样可在 kibana 选择需要的对应版本(与 elasticsearch 版本对应),然后下载解压即可使用,具体步骤如下:

  • 下载并解压缩 Kibana。
  • 在编辑器中打开 config / kibana.yml。
  • 设置 elasticsearch.url 为您的Elasticsearch实例,如本地:elasticsearch.url: "http://localhost:9200"
  • 运行 bin/kibana(或bin\kibana.bat在Windows上)。
  • 浏览器输入 http:// localhost:5601。

如果运行成功,但是无法访问,可以关闭防火墙再试试。

原文出处:https://www.cnblogs.com/jajian/p/9976900.html

posted @ 2023-01-18 15:57  龍龍小宝  阅读(23)  评论(0编辑  收藏  举报