Logstash filter 的使用
摘要：概述 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对
阅读全文
posted @ 2019-11-29 21:37
11 2019 档案
logstash过滤器插件filter详解及实例
摘要：1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是： “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样的IP地址。 例如： 我们的试验数据是： 1）我们举个例子来讲解过滤IP 现在启动一下： 2）举个例
阅读全文
posted @ 2019-11-29 21:34
Linux下如何不停止服务,清空nohup.out文件
摘要：tips:最近发现有不少人在百度这个问题，当初如易我也是初学者，随便从网上搜了一下，就转过来了，不过为了避免搜索结果同质化，为大家提供更翔实的参考，我将nohup.out相关 知识整理汇总如下： 1.nohup.out的由来及作用 用途：LINUX命令用法，不挂断地运行命令。 语法：nohup Co
阅读全文
posted @ 2019-11-29 19:59
logstash收集Nginx日志，转换为JSON格式
摘要：Nginx日志处理为JSON格式，并放置在http区块： log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":"
阅读全文
posted @ 2019-11-29 16:32
Logstash add_field 参数应用
摘要：使用 add_field 参数有两种需求： 1. 直接加入到 event 的 hash 顶级对象中 那么，结果会类似： 2. 加入到 event 的某个 tag 中 那么，结果会类似： 3. 由于 add_field 参数要求格式为 hash，我尝试如下用法结果发现满足不了需求。( ╯□╰ )为嘛？
阅读全文
posted @ 2019-11-29 16:30
Kafka、Logstash、Nginx日志收集入门
摘要：目录 五、错误记录 Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般
阅读全文
posted @ 2019-11-29 16:29
Logstash处理json格式日志文件的三种方法
摘要：假设日志文件中的每一行记录格式为json的，如： 默认配置下，logstash处理插入进elasticsearch后，查到的结果是这样的： 即会将json记录做为一个字符串放到”message”下，但是我是想让logstash自动解析json记录，将各字段放入elasticsearch中。有三种配置
阅读全文
posted @ 2019-11-29 16:29
consul实现分布式锁
摘要：分布式一致性问题：# 分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的
阅读全文
posted @ 2019-11-27 21:50
10分钟弄懂Raft算法
摘要：分布式系统在极大提高可用性、容错性的同时，带来了一致性问题（CAP理论）。Raft算法能够解决分布式系统环境下的一致性问题。 我们熟悉的ETCD注册中心就采用了这个算法；你现在看的这篇微信公众号文章，也是保存在基于Raft算法的高可用存储服务器中。 没有耐心看文字，就直接拉到第四章。 一、Raft算
阅读全文
posted @ 2019-11-27 21:42
分布式唯一ID生成常用方案
摘要：1. 使用JAVA的UUID生成 算法的核心思想是结合机器的网卡、当地时间、一个随记数来生成UUID。 优点：本地生成，生成简单，性能好，没有高可用风险 缺点：长度过长，字母和数字组合，存储冗余，且无序不可读，查询效率低 2. 数据库自增ID 使用数据库的id自增策略，如 MySQL 的 auto_
阅读全文
posted @ 2019-11-27 20:26
Python微服务实践-集成Consul配置中心
摘要：A litmus test for whether an app has all config correctly factored out of the code is whether the codebase could be made open source at any moment, wi
阅读全文
posted @ 2019-11-27 20:16
使用 Consul 作为 Python 微服务的配置中心
摘要：使用 Consul 作为 Python 微服务的配置中心 Consul 作为数据中心，提供了 k/v 存储的功能，我们可以利用这个功能为 Python 微服务提供配置中心。 Consul 提供了 HTTP 接口，我们可以从他的接口获取数据，当然我们不用自己去实现，python-consul 已经帮我
阅读全文
posted @ 2019-11-27 20:11
Consul之：key/value存储
摘要：key/value作用 动态修改配置文件 支持服务协同 建立leader选举 提供服务发现 集成健康检查 除了提供服务发现和综合健康检查,Consul还提供了一个易于使用的键/值存储。这可以用来保存动态配置,协助服务协调,建立领导人选举,并启用其他开发人员可以想构建的任何其他内容。 有两种方法可以使
阅读全文
posted @ 2019-11-27 20:04
nginx+consul-template+consul实现自动负载均衡
摘要：所需工具：工具 下载地址 本文使用版本consul https://www.consul.io/downloads.html consul_1.0.7_linux_amd64.zipconsul-template https://releases.hashicorp.com/consul-templ
阅读全文
posted @ 2019-11-27 19:34
consul集群搭建，配合nginx完成服务动态发现和健康检查
摘要：1、概述 1.1 介绍 consul是一个服务发现和配置共享的服务软件，结合nginx的主动健康检查模块nginx_upstream_check_module和服务发现模块nginx-upsync-module，实现一套服务动态发现机制。nginx的upstream不再通过手动配置，而是定时向con
阅读全文
posted @ 2019-11-27 19:09
consul多数据中心搭建 【h】
摘要：自建IDC后面简称own、阿里云机房ali、腾讯云机房txown机房：内网10.10.10.0/24，边界节点，10.10.10.100／101.xxx.80.xxxali机房：内网10.10.10.0/24，边界节点，10.10.10.100／xxx.43.xxx.50tx机房：内网10.10.1
阅读全文
posted @ 2019-11-27 15:06
使用htpasswd实现Nginx验证访问
摘要：Nginx是一个高性能的WEB服务器，越来越多的用户使用，如果您的某个站点不希望对外公开（比如PHPMyAdmin），可以使用htpasswd实现Nginx验证访问。 安装htpasswd 安装htpasswd htpasswd是Apache密码生成工具，Nginx支持auth_basic认证，因此
阅读全文
posted @ 2019-11-27 15:00
python之psutil模块（获取系统性能信息（CPU,内存，磁盘，网络）
摘要：一、psutil模块 1. psutil是一个跨平台库（http://code.google.com/p/psutil/），能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要应用于系统监控，分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能，如ps
阅读全文
posted @ 2019-11-26 15:44
consul异地多数据中心以及集群部署方案
摘要：consul异地多数据中心以及集群部署方案目的实现consul 异地多数据中心环境部署，使得一个数据中心的服务可以从另一个数据中心的consul获取已注册的服务地址 环境准备两台 linux服务器，外网可以互相连通，都需要开放服务器的8500,8300,8301（可选择开放或者不开放）,8302端口
阅读全文
posted @ 2019-11-26 14:43
SLA 99.99%以上！饿了么实时计算平台3年演进历程
摘要：作者介绍 倪增光，饿了么BDI-大数据平台研发高级技术经理，曾先后就职于PPTV、唯品会。15年加入饿了么，组建数据架构team，整体负责离线平台、实时平台、平台工具的开发和运维，先后经历了唯品会、饿了么数据平台从无到有到不断完善的过程。 一、背景 饿了么BDI-大数据平台研发团队目前共有20人左右
阅读全文
posted @ 2019-11-24 19:50
使用consul实现分布式服务注册和发现--redis篇
摘要：安装consul client consul 客户端检脚本 在192.168.56.122服务器上 1、安装redis yum intstall redis -y 2、配置redis 为主 cat >/etc/redis.conf<<EOF bind 192.168.56.122 127.0.0.1
阅读全文
posted @ 2019-11-21 21:04
Consul服务告警之Watch机制
摘要：熔断保护在Consul和Ocelot中都有实现，意思就是当一个服务不正常时（比如我们的一个服务实例挂了，Consul的健康检查机制检测到了），应该给系统维护人员给以告警。在Consul中，服务告警也是通过配置文件来实现的。 3.1 添加watch.json配置文件 *.有关watch的细节，请参考：
阅读全文
posted @ 2019-11-21 18:45
consul ACL 配置范例
摘要：service "dashboard" { policy = "write" } service "dashboard-sidecar-proxy" { policy = "write" } service_prefix "" { policy = "read" } node_prefix "" {
阅读全文
posted @ 2019-11-21 18:39
Consul实现服务治理
摘要：一、Consul服务注册之配置文件方式1.1 重温Consul实验集群 这里我们有三个Consul Server节点，一个Consul Client节点，在Client节点上跑了两个ClientService实例，分别占用8810和8820端口。至于基于Ocelot的API网关服务，还没有实现，留到
阅读全文
posted @ 2019-11-21 15:01
Consul ACL集群配置说明以及ACL Token的用法
摘要：在上一篇文章里面，我们讲了如何搭建带有Acl控制的Consul集群。这一篇文章主要讲述一下上一篇文章那一大串配置文件的含义。 1.配置说明#1.1 勘误上一篇文章关于机器规划方面，consul client agent的端口写的有误。这里再贴一下正确的机器规划。 1.2 我们先来看一下consul
阅读全文
posted @ 2019-11-21 14:39
consul集群搭建以及ACL配置
摘要：由于时间匆忙，要是有什么地方没有写对的，请大佬指正，谢谢。文章有点水，大佬勿喷这篇博客不回去深度的讲解consul中的一些知识，主要分享的我在使用的时候的一些操作和遇见的问题以及解决办法。当然有些东西官方文档上面也是有的 学习一种工具最好的方式还是去看官方文档，这是血与泪的经验教训。 1.consu
阅读全文
posted @ 2019-11-21 14:38
Consul1.5.0 带ACL控制集群搭建
摘要：Consul Cluster with ACL1.机器规划2.先配置好三个Server，并启动一遍。3.生成并配置agent-token，解决server agent ACL block问题4.启动一个带ui的client agent5.配置环境变量。6.给web-ui 设置master_token
阅读全文
posted @ 2019-11-21 14:38
python异步编程之asyncio（百万并发）
摘要：前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 python还有一
阅读全文
posted @ 2019-11-19 20:30
asyncio
摘要：asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。 asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。 用asyncio实现Hello worl
阅读全文
posted @ 2019-11-19 20:13
python使用consul进行服务注册和发现
摘要：阅读目录 一、安装启动consul 二、python服务注册 三、golang服务注册 四、通过API的方式获取信息 回到顶部 一、安装启动consul 1.通过docker快速安装 #获取docker镜像 docker pull consul 2.启动consul 然后就可以启动集群了，这里启动4
阅读全文
posted @ 2019-11-19 18:33
使用 Consul 作为 Python 微服务的配置中心
摘要：半部分主要为 Consul 的一些介绍，若已经了解 Consul，可以直接跳转到： 使用 Consul 作为 Python 微服务的配置中心 Consul 简单介绍 Consul 是 HashiCorp 公司推出的开源工具，用于实现分布式系统的服务发现与配置。Consul 是分布式的、高可用的、 可
阅读全文
posted @ 2019-11-19 18:31
玩转CONSUL(3)–大规模部署的性能开销定量分析
摘要：1. 引言 今天有朋友问萌叔，consul能否在大规模生产环境下进行应用。场景是总计大约10w+台机器，分为3 ~ 4个机房，单个机房最多3w万+机器。这个问题大的，可把萌叔吓了跳，部门里面consul集群的规模也就是1k+, 还分好几个机房。不过他的问题确实也让我十分好奇，consul是否有能力支
阅读全文
posted @ 2019-11-19 15:27
玩转CONSUL(2)–分布式锁
摘要：1. 前言 分布式锁的场景，大家应该都有遇到过。比如对可靠性有较高要求的系统中，我们需要做主备切换。这时我们可以利用分布式锁，来做选主动作，抢到锁作为主，执行对应的任务，剩余的实例作为备份 redis和zookeeper都可以用来做分布式锁，典型的如redis，可以使用SETNX命令来实现分布式锁。
阅读全文
posted @ 2019-11-19 15:18
玩转CONSUL(1)–WATCH机制探究
摘要：1. 前言 consul 经常被用于服务的注册和发现，本文将带你对watch做更深入的探究 2. consul对外暴露了4种通讯接口 2.1 RPC 主要用于内部通讯Gossip/日志分发/选主等 2.2 HTTP API 服务发现/健康检查/KV存储等几乎所有功能默认端口为8500 2.3 Con
阅读全文
posted @ 2019-11-19 15:16
Consul ACL集群配置说明以及ACL Token的用法
摘要：在上一篇文章里面，我们讲了如何搭建带有Acl控制的Consul集群。这一篇文章主要讲述一下上一篇文章那一大串配置文件的含义。 1.配置说明#1.1 勘误上一篇文章关于机器规划方面，consul client agent的端口写的有误。这里再贴一下正确的机器规划。 1.2 我们先来看一下consul
阅读全文
posted @ 2019-11-18 21:10
consul之：ACL配置使用
摘要：consul自带ACL控制功能，看了很多遍官方文档，没有配置步骤https://www.consul.io/docs/internals/acl.html 主要对各种配置参数解释，没有明确的步骤，当时唯一疑惑的是怎样生成ACL规则。看了很多相关的blog都是相似的内容，都是基础的安装测试而已，没有提
阅读全文
posted @ 2019-11-18 20:16
Consul之：服务健康监测
摘要：服务注册 - 服务进程在注册中心注册自己的位置。它通常注册自己的主机和端口号，有时还有身份验证信息，协议，版本号，以及运行环境的详细资料。 服务发现 - 客户端应用进程向注册中心发起查询，来获取服务的位置。服务发现的一个重要作用就是提供一个可用的服务列表。 服务定义的格式类似如下： 其中，check
阅读全文
posted @ 2019-11-18 20:15
consul分布式集群搭建&简单功能测试&故障恢复【h】
摘要：环境准备五台机器： 操作系统 IP Ubuntu 16.04.3 LTS x86_64 192.168.1.185 Ubuntu 16.10 x86_64 192.168.3.152 Ubuntu 12.04.2 LTS x86_64 192.168.1.235 Windows 10专业版 192.
阅读全文
posted @ 2019-11-18 17:38
Consul 使用手册（感觉比较全了）
摘要：使用consul 介绍 Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性: 服务发现 Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应
阅读全文
posted @ 2019-11-18 16:03
详解consul的安装和配置
摘要：Consul 简化了分布式环境中的服务的注册和发现流程，通过 HTTP 或者 DNS 接口发现。支持外部 SaaS 提供者等。 consul提供的一些关键特性： service discovery：consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易，一些外部服务，例如saas提供的
阅读全文
posted @ 2019-11-18 15:39
consul服务注册与服务发现的巨坑
摘要：最近使用consul作为项目的服务注册与服务发现的基础功能。在塔建集群使用中遇到一些坑，下面一个个的记录下来。 consul集群多node consul集群的node也就是我们所说的consul实例。集群由多个node组成，为了集群的可用性，需要超过半数的node启用server。如5个node中建
阅读全文
posted @ 2019-11-18 15:36
微服务Consul系列之集群搭建
摘要：在上一篇中讲解了Consul的安装、部署、基本的使用，使得大家有一个基本的了解，本节开始重点Consul集群搭建，官方推荐3～5台Server，因为在异常处理中，如果出现Leader挂了，只要有超过一半的Server还处于活跃状态，consul就会重新选举新的Leader，保证集群可以正常工作。 准
阅读全文
posted @ 2019-11-18 15:31
微服务Consul系列之服务注册与服务发现
摘要：在进行服务注册之前先确认集群是否建立，关于服务注册可以看上篇微服务Consul系列之集群搭建的介绍，两种注册方式：一种是注册HTTP API、另一种是通过配置文件定义，下面讲解的是基于后者配置文件定义的形式，也是Consul官方所建议的方式。 准备工作 准备工作 以下是上节做Consul集群的时候列
阅读全文
posted @ 2019-11-18 15:31
微服务Consul系列之服务部署、搭建、使用
摘要：使用Consul解决了哪些问题 是否在为不同环境来维护不同项目配置而发愁 是否有因为配置的更改导致代码还要进行修改、发布因为客流量大了还要规避开高峰期等到半夜来发布 微服务架构下应用的分解业务系统与服务系统之间的调用管理 是否在为不同环境来维护不同项目配置而发愁 是否有因为配置的更改导致代码还要进行
阅读全文
posted @ 2019-11-18 15:30
分布式中几种服务注册与发现组件的原理与比较
摘要：Eureka、Consul、Zookeeper的基本原理与比较。 前言 在云计算和容器化技术发展火热的当下，对于微服务架构，服务注册与发现组件是必不可少的。在传统的服务架构中，服务的规模处于运维人员的可控范围内。当部署服务的多个节点时，一般使用静态配置的方式实现服务信息的设定。在微服务应用中，服务实
阅读全文
posted @ 2019-11-18 11:49
Nginx的负载均衡 - 一致性哈希 (Consistent Hash)
摘要：算法介绍 当后端是缓存服务器时，经常使用一致性哈希算法来进行负载均衡。 使用一致性哈希的好处在于，增减集群的缓存服务器时，只有少量的缓存会失效，回源量较小。 在nginx+ats / haproxy+squid等CDN架构中，nginx/haproxy所使用的负载均衡算法便是一致性哈希。 我们举个例
阅读全文
posted @ 2019-11-17 23:14
Nginx负载均衡－如何自定义URL中的hash key2
摘要：upstream backend1 { server 192.168.3.236:555; server 192.168.3.236:222; server 192.168.3.236:333; consistent_hash $defurlkey; } server { listen 8084;
阅读全文
posted @ 2019-11-17 23:12
Nginx负载均衡－如何自定义URL中的hash key
摘要："例如请求的url为http://www.a.com/{path_var1}/{path_var2}path_var1和path_var2是两个path variable如果现在只想根据path_var1来做路由，即path_var1相同的请求落在同一台服务器上，应当怎么配置呢？"如上同学问我的问题
阅读全文
posted @ 2019-11-17 23:10
聊聊微服务的服务注册与发现
摘要：聊起微服务的服务注册与发现，很多人立马就会脱口而出 zk、etcd、consul、eureka 这些组件，进而聊到 CAP 如何取舍，性能如何，高可用和容灾是怎么实现的。 引言 聊起微服务的服务注册与发现，很多人立马就会脱口而出 zk、etcd、consul、eureka 这些组件，进而聊到 CAP
阅读全文
posted @ 2019-11-15 21:42
consui(二)集群配置
摘要：consul集群搭建：一、软件安装Linux 环境下载zip包然后直接解压，然后把解压的文mv consul /bin检验安装是否成功，查看版本[root@node1 ~]consul -vConsul v1.1.0Protocol 2 spoken by default, understands
阅读全文
posted @ 2019-11-15 21:38
consul（一）什么是consul
摘要：1. consul的基本介绍 在分布式架构中，服务治理是一个重要的问题。在没有服务治理的分布式集群中，各个服务之间通过手工或者配置的方式进行服务关系管理，遇到服务关系变化或者增加服务的时候，人肉配置极其麻烦且容易出错。之前在一个C/C++项目中，采用ZooKeeper进行服务治理，可以很好的维护服务
阅读全文
posted @ 2019-11-15 21:37
服务发现--初识Consul
摘要：前言 服务注册、服务发现作为构建微服务架构得基础设施环节，重要性不言而喻。在当下，比较热门用于做服务注册和发现的开源项目包括zookeeper、etcd、euerka和consul。今天在这里对近期学习consul的一些知识继续浓缩和汇总，作为自己学习过程中的一个总结。 Consul简介 Consu
阅读全文
posted @ 2019-11-15 21:26
Consul 快速入门 - Kong最佳实践
摘要：Consul是什么 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐全的控制平面，主要特点是：服务发现、健康检查、键值存储、安全服务通信、多数据中心。 安装Cons
阅读全文
posted @ 2019-11-15 21:24
spring cloud: 使用consul来替换eureka
摘要：eureka官方已经正式宣布：自2.0起不再维护该项目，并在github 项目wiki上放出了一段吓唬人的话: 大意就是：从2.x起，官方不会继续开发了，如果需要使用2.x，风险自负。但其实我觉得问题并不大，eureka目前的功能已经非常稳定，就算不升级，服务注册/发现这些功能已经够用。 如果想寻找
阅读全文
posted @ 2019-11-15 21:14
Eureka&Zookeeper&Consul 原理与对比
摘要：CAP 定理CAP定理：CAP定理又称CAP原则，指的是在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）。CAP 原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。 一致性（C）：在分布式系统中的
阅读全文
posted @ 2019-11-15 19:37
服务发现框架选型，Consul还是Zookeeper还是etcd
摘要：背景 本文并不介绍服务发现的基本原理。除了一致性算法之外，其他并没有太多高深的算法，网上的资料很容易让大家明白上面是服务发现。 想直接查看结论的同学，请直接跳到文末。 目前，市面上有非常多的服务发现工具，《Open-Source Service Discovery》（http://jasonwild
阅读全文
posted @ 2019-11-15 19:35
腾讯运维10年，我斩获了这5把“杀手锏”
摘要：赵建春，腾讯社交网络运营部助理总经理、技术运营通道会长、专家工程师。04年加入腾讯，先后从事过研发、运维、数据方面的建设和管理工作，在海量技术运营方面积累了丰富的实战经验。 加入腾讯已十年的运维老兵，回顾这十年： 2004年：加入腾讯，做贺卡开发； 2005年：加入QQ空间开发团队，负责留言版模块；
阅读全文
posted @ 2019-11-15 18:45
细看名字服务中心
摘要：名字服务就是服务间“你寻我，我寻你”的爱情游戏，因为它总是为彼此找到最佳"伴侣"，不是么？ 在之前的文章中多次提到名字服务这个概念，也很多人在问这是个什么东西？为什么我老是提起它？首先因为太重要了，直接决定着运维自动化平台的水平、简单与复杂；其次我做这么多年运维，对名字服务有着很深的情节（可能觉得它
阅读全文
posted @ 2019-11-15 17:01
golang 使用kcp实例
摘要：简介kcp的具体概念与定义自行百度，特性可以浓缩为一句话，和tcp一样可靠，速度比tcp快，是一个用带宽换速度的新型协议。网上的示例代码很少，特此写一篇golang下的kcp实例。 PS本文仅对ksp在golang下的基本使用进行示例，具体调优参数需要使用者去官网寻找适配。官方的示例代码太长太花了，
阅读全文
posted @ 2019-11-15 15:41
ubuntu-18.04 设置开机启动脚本
摘要：参阅下列链接 https://askubuntu.com/questions/886620/how-can-i-execute-command-on-startup-rc-local-alternative-on-ubuntu-16-10 ubuntu-18.04不能像ubuntu14一样通过编辑r
阅读全文
posted @ 2019-11-14 16:20
web端调起Windows系统应用程序（exe执行文件），全面兼容所有浏览器
摘要：1. 首先，你要有一个exe可执行文件2. 创建注册表创建注册表有两种方式（以“MyApp.exe”为例）： 方式一：可视化编辑Win+R 打开运行，输入 regedit 并回车，进入注册表编辑器新建注册表（可以仿照已有的注册表进行创建）在 HKEY_CLASSES_ROOT 下面新建一个 MyAp
阅读全文
posted @ 2019-11-14 14:17
logstash 6.6.0 读取nginx日志 插入到elasticsearch中
摘要：logstash.conf input { # For detail config for log4j as input, # See: https://www.elastic.co/guide/en/logstash/ file { type => "log" # log 名 path => "/
阅读全文
posted @ 2019-11-13 21:41
微服务架构中服务注册与发现
摘要：https://blog.csdn.net/u011537073/article/details/69663858 想象一下，如果你在写代码调用一个有REST API或Thrift API的服务，你的代码需要知道一个服务实例的网络地址（IP地址和端口）。运行在物理硬件上的传统应用中，服务实例的网络地
阅读全文
posted @ 2019-11-13 21:28
logstash kafka output 日志处理
摘要：今天在用logstash解析日志并传送给kafka的时候，发现kafka能收到数据但数据内容已经丢失，具体如下： 在logstash output中增加输出样式之后，问题解决kafka再次接受到的内容如下图所示： output{ kafka{ topic_id => "log_test" # kaf
阅读全文
posted @ 2019-11-13 21:00
filebeat输出到kafka
摘要：# cat filebeat.yml
阅读全文
posted @ 2019-11-13 20:52
nginx优化之request_time 和upstream_response_time差别
摘要：1、request_time 官网描述：request processing time in seconds with a milliseconds resolution; time elapsed between the first bytes were read from the client
阅读全文
posted @ 2019-11-13 18:33
利用ldirectord实现lvs后端realserver健康状态检查
摘要：ldirectord用来实现LVS负载均衡资源在主、备节点间的故障转移。在首次启动时，ldirectord可以自动创建IPVS表。此外，它还可以监控各RealServer的运行状态，一旦发现某RealServer运行异常时，还可以将其从IPVS表中移除。 ldirectord进程通过向RealSer
阅读全文
posted @ 2019-11-13 17:16
ELK 架构之 Logstash 和 Filebeat 安装配置
摘要：阅读目录： 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日志数据，在 Kibana 中显示 5. 安装配置 Filebeat 6. Filebeat 采集的日志数据，在 Kibana 中显示 7. Filebeat 采集日志数据，Logs
阅读全文
posted @ 2019-11-13 16:38
四层、七层负载均衡的区别
摘要：** 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；**同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配
阅读全文
posted @ 2019-11-13 15:58
logstash 和filebeat 是什么关系
摘要：因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人，加入http://elastic.co公司以后，因为es公司本身还收购了另一个开源项目packetbeat，而这个项目专门
阅读全文
posted @ 2019-11-13 11:41
golang中sync.RWMutex和sync.Mutex区别
摘要：golang中sync包实现了两种锁Mutex （互斥锁）和RWMutex（读写锁），其中RWMutex是基于Mutex实现的，只读锁的实现使用类似引用计数器的功能． type Mutex func (rw *RWMutex) Unlock() 其中Mutex为互斥锁，Lock()加锁，Unlock
阅读全文
posted @ 2019-11-12 16:51
深度解密Go语言之 pprof
摘要：目录 什么是 pprof pprof 的作用 pprof 如何使用 runtime/pprof net/http/pprof pprof 进阶 Russ Cox 实战 查找内存泄露 总结 参考资料 目录 什么是 pprof pprof 的作用 pprof 如何使用 runtime/pprof net
阅读全文
posted @ 2019-11-12 11:30
查看某个进程PID对应的文件句柄数量，查看某个进程当前使用的文件句柄数量
摘要：1.linux所有句柄查询 第一列是持有句柄数量，第二列是每个进程的PID 代表各个进程持有的句柄数量 2.查看java或tomcat句柄【查看当前进程持有文件句柄数量】【查看当前进程文件句柄最大限制】 2.1查看java程序的PID 2.2查看这个PID持有的句柄数 2.3查看当前进程句柄数量限制
阅读全文
posted @ 2019-11-12 11:30
Ubuntu16.04下KeepAlived+Nginx 布署
摘要：前言 网上已经有很多相关文章，对各种概念介绍的比较清楚，也有各种详细的步骤，这里主要记录本要在ubuntu16.04下的布署过程，主要记录编译安装keepalived时遇到的坑及解决办法。 可以参考的文章： Nginx+keepalived 高可用双机热备（主从模式/双主模式） LVS+KeepAl
阅读全文
posted @ 2019-11-11 22:25
Nginx+keepalived 高可用双机热备（主从模式/双主模式）
摘要：基础介绍负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。 关于负载均衡介绍，可以参考：linux负载均衡总结性说明（四层负载/七层负载） 由于业务扩展，网站的访问量不断加大，负载越来越高。现
阅读全文
posted @ 2019-11-11 22:19
LVS+KeepAlived+Nginx高可用实现方案
摘要：文章目录概念LVSKeepAlived为什么要使用准备软件安装KeepAlived 安装源码安装yum安装服务启动、重启、关闭安装ipvsadmnginx安装防火墙(iptables)防火墙配置(方式一)防火墙配置(方式二)配置nginx服务器(>>这里很重要!很重要!很重要！！！<<)最后关键一步
阅读全文
posted @ 2019-11-11 22:18
golang 日志模块（log）
摘要：log 日志 log 模块可以自定义log 对象， 也可以使用log默认对象的日志方法 func New 创建log对象 func New(out io.Writer, prefix string, flag int) *Logger logs := log.New(os.Stdout, "lcoa
阅读全文
posted @ 2019-11-11 16:41
redcon, Redis兼容的服务器框架
摘要：源代码名称:redcon 源代码网址:http://www.github.com/tidwall/redcon redcon源代码文档 redcon源代码下载 Git URL: 复制代码 git://www.github.com/tidwall/redcon.git Git Clone代码到本地:
阅读全文
posted @ 2019-11-11 16:15
Redcon：快速的Redis服务器Go实现
摘要：Fast Redis compatible server framework for Go Redcon is a custom Redis server framework for Go that is fast and simple to use. The reason for this lib
阅读全文
posted @ 2019-11-11 15:39
sshpass 指定密码远程 ssh 到服务器 或者 scp 发送文件到服务器
摘要：不如Ubuntu, 默认yum install sshpass无法安装sshpass，需要用下面的步骤： cd /etc/yum.repos.d/wget http://download.opensuse.org/repositories/home:Strahlex/CentOS_CentOS-6/
阅读全文
posted @ 2019-11-11 14:38
IPVS支持的调度算法
摘要：对于后端的RS集群，LB是如何决策应该把消息调度到哪个RS节点呢？这是由负载均衡调度算法决定的。IPVS常用的调度算法有： 轮询（Round Robin） LB认为集群内每台RS都是相同的，会轮流进行调度分发。从数据统计上看，RR模式是调度最均衡的。 加权轮询（Weighted Round Robi
阅读全文
posted @ 2019-11-11 01:42
Ubuntu构建LVS+Keepalived高可用负载均衡集群【生产环境部署】
摘要：1、环境说明： 系统版本：Ubuntu 14.04 LVS1物理IP：14.17.64.2 初始接管VIP：14.17.64.13 LVS2物理IP：14.17.64.3 初始接管VIP：14.17.64.14 真实web服务器IP：14.17.64.4-12 实现效果：去往14.17.64.13或
阅读全文
posted @ 2019-11-11 01:41
Ubuntu LVS DR模式生产环境部署
摘要：1、环境说明 系统版本：ubuntu14.04 LVS服务器：14.17.64.3 真实服务器：14.17.64.4-12 VIP：14.17.64.13 部署目的：用户请求14.17.64.13的报文转发至14.17.64.4-12上进行负载均衡。2、安装LVS 由于LVS像iptables一样是
阅读全文
posted @ 2019-11-11 01:40
MongoDB 谨防索引seek的效率问题（转）
摘要：目录 背景 初步分析 索引seeks的原因 优化思路 小结 目录 背景 初步分析 索引seeks的原因 优化思路 小结 背景 初步分析 索引seeks的原因 优化思路 小结 声明：本文同步发表于 MongoDB 中文社区，传送门：http://www.mongoing.com/archives/27
阅读全文
posted @ 2019-11-11 01:20
LVS的持久连接、会话保持和高可用介绍
摘要：持续连接 session保存机制（会话机制） LVS的高可用
阅读全文
posted @ 2019-11-10 21:29
lvs整理
摘要：LVS是Linux Virtual Server的简写，即Linux虚拟服务器，是一个虚拟的服务器集群系统。通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。 4种模型概要总结： 1、NAT的
阅读全文
posted @ 2019-11-10 21:07
ubuntu 12.04 下LVS的一些搭建心得和资料整理
摘要：最近项目上需要使用到IPVS进行负载均衡，针对外部传来的HTTP请求，分摊到多台服务器上进行处理，所以看了一下这方面的资料，在这里纪录一下。 Lvs是基于IP层和内容分发请求的负载均衡方法（所以也可以叫IPVS）。所谓负载均衡，就是分担给多个服务器进行处理。 IPVS有三种常见的负载均衡技术，NAT
阅读全文
posted @ 2019-11-10 20:56
Ubuntu下配置LVS【h】
摘要：以后服务器只用CentOS和Ubuntu。下午用redhat装个lvs装了一下午都没搞好,TNND的。果断用Ubuntu，不到两个小时就搞定了。 原文参见： http://kamengwang.blog.163.com/blog/static/90945020201192742214338/ 我用的
阅读全文
posted @ 2019-11-10 20:45
LVS管理工具--ipvsadm
摘要：一、 ipvsadm工具介绍 从2.4版本开始，linux内核默认支持LVS。要使用LVS的能力，只需安装一个LVS的管理工具：ipvsadm。 LVS的结构主要分为两部分： 工作在内核空间的IPVS模块。LVS的能力实际上都是由IVPS模块实现。 工作在用户空间的ipvsadm管理工具。其作用是向
阅读全文
posted @ 2019-11-10 20:12
LVS负载均衡在Ubuntu环境下部署详解
摘要：一、本地环境介绍： 负载均衡的三台机器均为Ubuntu Server 14.04 64位系统，内核中已集成ipvs模块( modprobe -l | grep ipvs 查看 )。为演示LVS负载均衡后的效果，需先在其中两台机器中安装apache服务（apt-get install apache2）
阅读全文
posted @ 2019-11-10 19:51
详解Nginx中HTTP的keepalive相关配置
摘要：http keepalive在http早期 ，每个http请求都要求打开一个tpc socket连接，并且使用一次之后就断开这个tcp连接。使用keep-alive可以改善这种状态，即在一次TCP连接中可以持续发送多份数据而不会 断开连接。通过使用keep-alive机制，可以减少tcp连接建立次数
阅读全文
posted @ 2019-11-07 21:19
nginx的 keepalive_timeout参数是一个请求完成之后还要保持连
摘要：keepalive_timeout参数是一个请求完成之后还要保持连接多久，不是请求时间多久，目的是保持长连接，减少创建连接过程给系统带来的性能损耗，类似于线程池，数据库连接池。
阅读全文
posted @ 2019-11-07 21:13
nginx 并发数问题思考：worker_connections,worker_processes与 max clients
摘要：我相信，很多人都跟我一样，看书都不会太细致也不太认真思考，感觉书中讲的东西都应该是对的，最近读书时我发现以前认为理所当然的东西事实上压根都没有弄明白，最终的结果是，书是别人的，书中的知识也是别人的。 无论是看过的nginx有关书还是网上看到的有关nginx 配置说明的文章（http://wiki.n
阅读全文
posted @ 2019-11-07 21:06
关于 Nginx upstream keepalive 的说明
摘要：模块是 HttpUpstreamModule，配置的一个例子： [shell]upstream http_backend { server 127.0.0.1:8080; keepalive 16;}server { … location /http/ { proxy_pass http://htt
阅读全文
posted @ 2019-11-07 20:56
如何区分浏览器发起的是基于http/1.x还是http/2的请求？
摘要：前言 随着2015年http2.0被推出以来，主流的现代浏览器大多都开始慢慢去实现这个协议，那么如果查看自己的浏览器是否支持发送http2.0的请求，或者如何查看浏览器发送的请求是基于哪一个版本的呢？ 本篇以chrome浏览器和firefox浏览器举例chrome浏览器 按f12打开浏览器的开发者工
阅读全文
posted @ 2019-11-07 20:52
关于limit_req和limit_conn的区别
摘要：1，首先，limit_req和limit_conn两个模块都是为了来限流的，但是两者不在一个层面，为了搞清楚这个，必须先要弄清楚request和connection的区别，因为在很多情况下，我们把他们混淆了。 so, what is the difference between connection
阅读全文
posted @ 2019-11-07 20:45
nginx下后端节点realserverweb健康检测模块ngx_http_upstream_check_module
摘要：公司前一段对业务线上的nginx做了整理，重点就是对nginx上负载均衡器的后端节点做健康检查。目前，nginx对后端节点健康检查的方式主要有3种，这里列出： 公司业务线上对后端节点的健康检查是通过nginx_upstream_check_module模块做的，这里我将分别介绍这三种实现方式以及之间
阅读全文
posted @ 2019-11-07 20:39
nginx限流方案的实现(三种方式)
摘要：通过查看nginx官方文档，小弟查看到了三种nginx限流方式。 1、limit_conn_zone 2、limit_req_zone 3、ngx_http_upstream_module 前两种只能对客户端（即单一ip限流），并且文档也很全，但是经过测试发现，还是无法达到官方文档所说的结果（可能小
阅读全文
posted @ 2019-11-07 20:26
Hadoop概念学习系列之Hadoop、Spark学习路线
摘要：1 Java基础： 视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。 书籍方面： 推荐李兴华的《java开发实战经典》 2 Linux基础： 视频方面： （
阅读全文
posted @ 2019-11-07 19:45
是什么造成了数据库的卡顿
摘要：目录 一、背景 二、问题定界 三、找出元凶 四、解决思路 目录 一、背景 二、问题定界 三、找出元凶 四、解决思路 一、背景 二、问题定界 三、找出元凶 四、解决思路 声明：本文同步发表于 MongoDB 中文社区，传送门：http://www.mongoing.com/archives/26201
阅读全文
posted @ 2019-11-06 11:46
nginx优化 突破十万并发
摘要：nginx优化 突破十万并发 一、一般来说nginx 配置文件中对优化比较有作用的为以下几项： 1. worker_processes 8; nginx 进程数，建议按照cpu 数目来指定，一般为它的倍数 (如,2个四核的cpu计为8)。 2. worker_cpu_affinity 0000000
阅读全文
posted @ 2019-11-05 21:21
python rabbitmq的库，rabbitpy代替pika
摘要：之前看网上都是清一色pika包的例子，就用的pika包，最大问题是非多线程安全，改为使用rabbitpy。大幅改善了pika多线程需要加锁，和外网推送延迟又不能开多线程导致推送慢的问题。 rabbitpy有个适配器，可以把rabbitpy包的channel适配成与pika包的channel的相同公有
阅读全文
posted @ 2019-11-05 20:10
死磕nginx系列--使用nginx做负载均衡
摘要：使用nginx做负载均衡的两大模块： upstream 定义负载节点池。 location 模块 进行URL匹配。 proxy模块 发送请求给upstream定义的节点池。 upstream模块解读 nginx 的负载均衡功能依赖于 ngx_http_upstream_module模块，所支持的代理
阅读全文
posted @ 2019-11-04 21:51
死磕nginx系列--nginx 限流配置
摘要：限流算法 令牌桶算法 算法思想是： 令牌以固定速率产生，并缓存到令牌桶中； 令牌桶放满时，多余的令牌被丢弃； 请求要消耗等比例的令牌才能被处理； 令牌不够时，请求被缓存。 漏桶算法 算法思想是： 水（请求）从上方倒入水桶，从水桶下方流出（被处理）； 来不及流出的水存在水桶中（缓冲），以固定速率流出；
阅读全文
posted @ 2019-11-04 21:48
限流保护——nginx限流模块
摘要：1.限制请求次数——limit_req_zone模块 a.意义：limit_req_zone 表示限制单位时间内的请求数，即速率限制，采用的漏桶算法 a.在 conf/nginx.conf 配置文件中添加 b.参数说明： $binary_remote_addr：表示通过remote_addr这个标识
阅读全文
posted @ 2019-11-04 21:47
nginx upstream 容错机制
摘要：熟练掌握Nginx负载均衡的使用对运维人员来说是极其重要的！下面针对Nignx负载均衡upstream容错机制的使用做一梳理性说明： 一、nginx的upstream容错 1）nginx 判断节点失效状态Nginx默认判断失败节点状态以connect refuse和time out状态为准，不以HT
阅读全文
posted @ 2019-11-04 21:27
go map数据结构和源码详解
摘要：目录 1. 前言 2. go map的数据结构 2.1 核心结体体 2.2 数据结构图 3. go map的常用操作 3.1 创建 3.2 插入或更新 3.3 删除 3.4 查找 3.5 range迭代 3.5.1 初始化迭代器mapiterinit() 3.5.2 迭代过程mapiternext(
阅读全文
posted @ 2019-11-04 11:08
浙公网安备 33010602011771号