随笔分类 - 分布式方案-日志ELK
摘要：下载Kafka和Zookeeper镜像文件 先运行zk，再运行kafka 创建主题 在项目代码我们可以进行AOP日志处理，将异常信息 发送到Kafaka 然后 Logstash订阅话题，将数据写入到ES中。 Logstash配置: 通过Logstash去订阅主题，主题要保持一致与代码，与创建的主题。
阅读全文
摘要：版本一定要与es对应！！！ 下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.8.0 解压到 启动参考: https://www.cnblogs.com/toov5/p/11361413.html 启
阅读全文
摘要：Spring Boot连接ES，spring-boot-starter-data-elasticsearch。 必须为集群方式！否则报错！ 报错： 安装步骤: 进入 cd /home 步骤解析： 1. 目录文件： 是用来挂载用的，同步配置文件。容器的和外部的同步。 3. 4. 5. 表示两个es外部
阅读全文
摘要：关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地 下面进一步详细说配置: 注意：
阅读全文
摘要：1.ES安装 一定要关闭防火墙！ 测试访问： 注意：-p 5601:5601 是kibana的端口地址 (我这里kibana的container共用elasticsearch的网络，所以这样设置。 补充: 如果运行时候报错： docker run -it --name elasticsearch -
阅读全文
摘要：kafka chukwa Flumc Logstash
阅读全文
摘要：大型系统分布式日志采集系统ELK全框架 SpringBootSecurity1、传统系统日志收集的问题2、Logstash操作工作原理3、分布式日志收集ELK原理4、Elasticsearch+Logstash+Kiabana整合5、Logstash将数据推送到ES6、Kibana图形界面展示ES日
阅读全文
摘要：1、ES是如何实现分布式高并发全文检索 2、简单介绍ES分片Shards分片技术 3、为什么ES主分片对应的备分片不在同一台节点存放 4、索引的主分片定义好后为什么不能做修改 5、ES如何实现高可用容错方案 6、搭建Linux上环境三台ES高可用集群环境 ES是如何解决高并发 ES是一个分布式全文检
阅读全文
摘要：1、ES是如何实现分布式高并发全文检索 2、简单介绍ES分片Shards分片技术 3、为什么ES主分片对应的备分片不在同一台节点存放 4、索引的主分片定义好后为什么不能做修改 5、ES如何实现高可用容错方案 6、搭建Linux上环境三台ES高可用集群环境 7、基于ES网盘搜索引擎实现 网盘搜索引擎，
阅读全文
摘要：已经把ElasticSearch的核心概念和关系数据库做了一个对比，索引（index）相当于数据库，类型(type)相当于数据表，映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等等。
阅读全文
摘要：使用因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件 在下载使用插件时候 一定要注意 版本对应！ github地址： https://github.com/medcl/elasticsearch-an
阅读全文
摘要：1、ES9300端口号与9200区别2、Elasticsearch倒排索引原理3、Elasticsearch高级查询4、ElasticsearchIK分词器原理5、ElasticsearchIK中文分词器6、IK自定义中文词典热词7、Elasticsearch Mapping映射 1.区别： 930
阅读全文
摘要：就类比数据库到时候去实现 服务器端配置 集群名字 与yml名字一致 pom: 项目结构： Entity： Dao： Controller： 成功： 查看： 查询：
阅读全文
摘要：使用： ##删除索引DELETE /toov5 { } 表示一行数据 toov5 表示数据库 版本控制： 1.为什么要进行版本控制 为了保证数据再多线程操作下的准确性 2.悲观锁和乐观锁（CAS无所机制） 悲观锁：假设会发生并发冲突，屏蔽一切可能违反数据准确性的操作 乐观锁：假设不会发生并发冲突，只
阅读全文
摘要：Linux内存一定要1g以上！ 首先要有jdk环境 要求1.8版本以上 elasticsearch是Java写的 将上传的 elasticSearch安装包解压 cd /home/elasticsearch/elasticsearch-6.4.3/config 1、 修改elasticsearch.
阅读全文
摘要：Elasticsearch简单介绍 Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库（存放的JSON格式的），其中每个字段均是被索引的数据且可被搜索（京东的搜索数据商品 细节 相关都可
阅读全文