e,l,k,beats

what:

  elasticsearch:基于Json的分布式搜索和分析引擎

  logstash:动态数据收集管道

  kibana:提供数据的可视化界面

  Beats:轻量级的数据采集器

  elasticSearch特点:1搜索,聚合分析,大数据存储

            2分布式,高性能,高可用,可伸缩,易维护

            3支持文本搜索,结构化数据,非结构化数据,地理搜索位置等

  原理:   了解Lucene,倒排索引     ES的索引库基于apache Lcence 搜索引擎

 

how:

  1.   环境安装:JDK
  2.   文件目录结构:bin,config,lib,data,logs,modules,plugins,jdk/jdk.app
  3.         单节点启动 :     linux:  cd elasticsearch/bin ./elasticsearch -d     默认端口:9200
  4.   单项目多节点:节点分别启动   ./elasticsearch -E path.data=data1 -E path.logs=log1 -E node.name=node1 -E cluster.name=msb_teach
  5.        kibana环境:下载地址:https://www.elastic.co/cn/downloads/kibana      启动命令: bin目录下  ./kibana    默认端口:5601  配置elasticsearch地址
  6.   Kibana server is not ready yet 异常 出现的集中情况
  7.   Head插件 1下载node  安装grunt  grunt -version命令检查是否安装成功  2下载Head插件 修改Gruntfile.js文件,安装  启动  3 从Chrome网上应用店安装Elasticsearch Head

  ES用法:CRUD,映射,DSL语法,分词器,聚合查询,批量操作,模糊查询,数据建模   等

  分布式ES:

核心配置

    • cluster.name: 集群名称,唯一确定一个集群。

    • node.name:节点名称,一个集群中的节点名称是唯一固定的,不同节点不能同名。

    • node.master: 主节点属性值

    • node.data: 数据节点属性值

    • network.host: 本节点的绑定ip,及提供服务的ip地址

    • http.port: 本节点的http端口

    • transport.port:9300——集群之间通信的端口,若不指定默认:9300

    • discovery.seed_hosts: 节点发现需要配置一些种子节点,与7.X之前老版本:disvoery.zen.ping.unicast.hosts类似,一般配置集群中的全部节点

    • cluster.initial_master_nodes:指定集群初次选举中用到的具有主节点资格的节点,称为集群引导,只在第一次形成集群时需要。

    开发模式和生产模式:默认为开发模式,discovery.type=single-node,避免引导检查。生产模式,服务启动会触发ES的引导检查,引导检查包括对JVM大小、内存锁、虚拟内存、最大线程数、集群发现相关配置等相关的检查,如果某一项或者几项的配置不合理,ES会拒绝启动服务,并且在开发模式下的某些警告信息会升级成错误信息输出。

    集群方式为 主从模式

    节点:master节点,仅投票节点,逐渐,数据节点,协调节点

    模块:cluster,allocation,bootstrap,ingest,monitor,discovery,gateway,indices,http,transport

    分片:分片策略,数量,大小,分配感知  等配置  一些选举算法:bully,paxos,raft

    高可用方案:分布式,分片,容灾机制

   

一些问题:深度分页问题   等

  

    

 

posted @ 2023-11-27 23:35  fzy_uni  阅读(11)  评论(0)    收藏  举报