上一页 1 ··· 88 89 90 91 92 93 94 95 96 ··· 234 下一页

2019年11月29日

logstash过滤器插件filter详解及实例

摘要: 1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是: “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字,IP模式则会匹配出127.0.0.1这样的IP地址。 例如: 我们的试验数据是: 1)我们举个例子来讲解过滤IP 现在启动一下: 2)举个例 阅读全文

posted @ 2019-11-29 21:34 ExplorerMan 阅读(744) 评论(0) 推荐(0)

Linux下如何不停止服务,清空nohup.out文件

摘要: tips:最近发现有不少人在百度这个问题,当初如易我也是初学者,随便从网上搜了一下,就转过来了,不过为了避免搜索结果同质化,为大家提供更翔实的参考,我将nohup.out相关 知识整理汇总如下: 1.nohup.out的由来及作用 用途:LINUX命令用法,不挂断地运行命令。 语法:nohup Co 阅读全文

posted @ 2019-11-29 19:59 ExplorerMan 阅读(469) 评论(0) 推荐(0)

logstash收集Nginx日志,转换为JSON格式

摘要: Nginx日志处理为JSON格式,并放置在http区块: log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":" 阅读全文

posted @ 2019-11-29 16:32 ExplorerMan 阅读(655) 评论(0) 推荐(0)

Logstash add_field 参数应用

摘要: 使用 add_field 参数有两种需求: 1. 直接加入到 event 的 hash 顶级对象中 那么,结果会类似: 2. 加入到 event 的某个 tag 中 那么,结果会类似: 3. 由于 add_field 参数要求格式为 hash,我尝试如下用法结果发现满足不了需求。( ╯□╰ )为嘛? 阅读全文

posted @ 2019-11-29 16:30 ExplorerMan 阅读(6359) 评论(0) 推荐(0)

Kafka、Logstash、Nginx日志收集入门

摘要: 目录 五、错误记录 Nginx作为网站的第一入口,其日志记录了除用户相关的信息之外,还记录了整个网站系统的性能,对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。一般 阅读全文

posted @ 2019-11-29 16:29 ExplorerMan 阅读(335) 评论(0) 推荐(0)

Logstash处理json格式日志文件的三种方法

摘要: 假设日志文件中的每一行记录格式为json的,如: 默认配置下,logstash处理插入进elasticsearch后,查到的结果是这样的: 即会将json记录做为一个字符串放到”message”下,但是我是想让logstash自动解析json记录,将各字段放入elasticsearch中。有三种配置 阅读全文

posted @ 2019-11-29 16:29 ExplorerMan 阅读(1067) 评论(0) 推荐(0)

2019年11月27日

consul实现分布式锁

摘要: 分布式一致性问题:# 分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。”所以,很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的 阅读全文

posted @ 2019-11-27 21:50 ExplorerMan 阅读(756) 评论(0) 推荐(0)

10分钟弄懂Raft算法

摘要: 分布式系统在极大提高可用性、容错性的同时,带来了一致性问题(CAP理论)。Raft算法能够解决分布式系统环境下的一致性问题。 我们熟悉的ETCD注册中心就采用了这个算法;你现在看的这篇微信公众号文章,也是保存在基于Raft算法的高可用存储服务器中。 没有耐心看文字,就直接拉到第四章。 一、Raft算 阅读全文

posted @ 2019-11-27 21:42 ExplorerMan 阅读(2880) 评论(0) 推荐(0)

分布式唯一ID生成常用方案

摘要: 1. 使用JAVA的UUID生成 算法的核心思想是结合机器的网卡、当地时间、一个随记数来生成UUID。 优点:本地生成,生成简单,性能好,没有高可用风险 缺点:长度过长,字母和数字组合,存储冗余,且无序不可读,查询效率低 2. 数据库自增ID 使用数据库的id自增策略,如 MySQL 的 auto_ 阅读全文

posted @ 2019-11-27 20:26 ExplorerMan 阅读(263) 评论(0) 推荐(0)

Python微服务实践-集成Consul配置中心

摘要: A litmus test for whether an app has all config correctly factored out of the code is whether the codebase could be made open source at any moment, wi 阅读全文

posted @ 2019-11-27 20:16 ExplorerMan 阅读(1718) 评论(0) 推荐(0)

上一页 1 ··· 88 89 90 91 92 93 94 95 96 ··· 234 下一页

导航