文章分类 -  elasticsearch

logstash 日志收集
摘要：# Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. #input{ # kafka{ # bootstrap_servers => ["localho 阅读全文
posted @ 2022-05-12 13:49 飞鹰之歌 阅读(114) 评论(0) 推荐(0)
FILEBEAT后端运行，自动退出解决
摘要：通过nohub方式启动filebeat，运行一段时间后filebeat自动退出，原因是filebeat默认会定期检测文件是否有新的内容，如果超过一定时间检测的文件没有任务新日志写入，那么filebeat会自动退出，解决办法就是将filebeat通过系统后台的方式长期运行。 1、在linux操作系统 阅读全文
posted @ 2022-04-25 08:58 飞鹰之歌 阅读(1411) 评论(0) 推荐(0)
es删除数据
摘要：POST accesslog/_delete_by_query?conflicts=proceed&wait_for_completion=false { "query": { "range": { "@timestamp": { "lt": "2022-03-01T08:00:00.0560000 阅读全文
posted @ 2022-03-30 09:36 飞鹰之歌 阅读(274) 评论(0) 推荐(0)
Kafka在window上安装部署
摘要：参考：https://www.cnblogs.com/coloz/p/10487679.html zookeeper报错 JAVA_HOME is not set https://www.cnblogs.com/china-baizhuangli/p/8920776.html 阅读全文
posted @ 2022-02-24 17:34 飞鹰之歌 阅读(36) 评论(0) 推荐(0)
Kibana查询ES报错:[circuit_breaking_exception] [parent] Data too large
摘要：参考：https://blog.csdn.net/luoqinglong850102/article/details/113516356 三、解决方法1、增加es堆内存 ./elasticsearch -Xms30g -Xmx30g -Xms30g 表示JVM Heap（堆内存）最小为30g，初始化 阅读全文
posted @ 2022-02-24 16:41 飞鹰之歌 阅读(503) 评论(0) 推荐(0)
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统
摘要：参考：https://help.aliyun.com/document_detail/169257.html 阅读全文
posted @ 2022-02-10 11:15 飞鹰之歌 阅读(25) 评论(0) 推荐(0)
elasticSearch多条件高级检索语句，包含多个must、must_not、should嵌套示例，并考虑nested对象的特殊检索
摘要：{ "query": { "bool": { "must": [ { "match": { "title": "Science" } }, { "match": { "countryArea": "United States" } }, { "bool": { "should": [ { "matc 阅读全文
posted @ 2022-02-09 16:54 飞鹰之歌 阅读(605) 评论(0) 推荐(0)
filebeat直接给es传输日志，自定义索引名，自定义多个索引文件
摘要：filebeat.inputs: - type: log enabled: true paths: - /opt/kidx/deploy/talk-skills/logs/skills_consumer.log fields: type: skills_consumer - type: log en 阅读全文
posted @ 2022-02-09 14:19 飞鹰之歌 阅读(572) 评论(0) 推荐(0)
ELK测试：logstash解析nginx时间字段
摘要：参考：https://blog.csdn.net/jianblog/article/details/54585043 input { # 多张表的同步只需要设置多个jdbc的模块就行了 jdbc { # mysql 数据库链接,shop为数据库名 jdbc_connection_string => 阅读全文
posted @ 2022-02-08 16:33 飞鹰之歌 阅读(163) 评论(0) 推荐(0)
filebeat es入库
摘要：1、apache配置日志格式 LogFormat "{ \ \"@timestamp\": \"%{%Y-%m-%dT%H:%M:%S%z}t\", \ \"@version\": \"1\", \ \"tags\":[\"apache\"], \ \"message\": \"%h %l %u % 阅读全文
posted @ 2022-01-24 10:46 飞鹰之歌 阅读(133) 评论(0) 推荐(0)
elasticsearch logstash-input-jdbc把数据从mysql导入es中
摘要：input { jdbc { jdbc_driver_library => "/home/software/logstash-6.4.3/lib/mysql-connector-java-5.1.41-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Dri 阅读全文
posted @ 2022-01-21 14:51 飞鹰之歌 阅读(32) 评论(0) 推荐(0)
elasticsearch 添加自定义统计字段
摘要：elastisearch Scripted fields 自定义字段 1、字段值转换 def hangyes= [243: '橱柜', 244: '卫浴', 32: '地板', 33: '吊顶', 65: '陶瓷', 70: '衣柜', 188: '硅藻泥', 387: '净水器', 477: '木 阅读全文
posted @ 2022-01-20 16:13 飞鹰之歌 阅读(205) 评论(0) 推荐(0)
es中must和should的用法
摘要： 阅读全文
posted @ 2022-01-06 16:39 飞鹰之歌 阅读(1106) 评论(0) 推荐(0)
elasticsearch 常用搜索命令
摘要：网址：https://blog.csdn.net/E_Eric12138/article/details/79333606 https://www.cnblogs.com/dydxw/p/12667874.html mysql 转es http://www.ischoolbar.com/EsPars 阅读全文
posted @ 2022-01-06 11:26 飞鹰之歌 阅读(63) 评论(0) 推荐(0)
elasticSearch搜索代码
摘要：<?phpclass PsElasticSearch{ private $client; private static $instance; private $index_name_prefix; private function __construct($config) { include(VEN 阅读全文
posted @ 2019-03-30 17:30 飞鹰之歌 阅读(39) 评论(0) 推荐(0)