星辰大海ゞ

Prometheus监控

摘要：流程： prometheus根据配置定时去拉取各个节点的数据，默认使用的拉取方式是pull，也可以使用pushgateway提供的push方式获取各个监控节点的数据。将获取到的数据存入TSDB，一款时序型数据库。此时prometheus已经获取到了监控数据，可以使用内置的PromQL进行查询。它的报阅读全文

posted @ 2020-03-08 23:05 星辰大海ゞ阅读(421) 评论(0) 推荐(0)

Ingress-Nginx高可用

摘要：以最新版的nginx-ingress-controller:0.30.0为例高可用Ingress 架构如下：打开 https://github.com/kubernetes/ingress-nginx/blob/master/deploy/static/mandatory.yaml 然后Raw下阅读全文

posted @ 2020-03-02 22:44 星辰大海ゞ阅读(1511) 评论(0) 推荐(0)

Nvidia-smi命令使用

摘要： GPU即Graphic Processing Unit，图像处理器，是整个显卡的核心。显卡是由GPU、显存等等组成的。大部分情况下，我们所说GPU就等于指显卡，但实际情况是GPU是显卡的一个核心组成部分显卡和GPU区别：性质不同、组成不同、用途不同一、性质不同 1、显卡：显卡是连接显示器和个人计阅读全文

posted @ 2020-02-05 18:32 星辰大海ゞ阅读(2275) 评论(0) 推荐(0)

Nginx配置proxy_pass转发/路径问题

摘要： proxy_ignore_client_abort on; ＃不允许代理端主动关闭连接在nginx中配置proxy_pass时，如果是按照 ^~ 正则匹配路径时,要注意proxy_pass后的url最后的 / 如果加上了/，则会把匹配的路径部分也给代理走；如果没有/，相当于是绝对根路径，则ngi 阅读全文

posted @ 2019-11-28 14:41 星辰大海ゞ阅读(9568) 评论(0) 推荐(1)

Spring boot与Spring cloud之间的关系

摘要： Spring boot 是 Spring 的一套快速配置脚手架，可以基于spring boot 快速开发单个微服务，Spring Boot，看名字就知道是Spring的引导，就是用于启动Spring的，使得Spring的学习和使用变得快速无痛。不仅适合替换原有的工程结构，更适合微服务开发。 Spri 阅读全文

posted @ 2019-11-25 14:37 星辰大海ゞ阅读(908) 评论(0) 推荐(0)

利用Superlance监控Supervisor运行状态并实现报警

摘要： Superlance是基于supervisor的事件机制实现的一系列命令行的工具集，它实现了许多supervisor本身没有实现的实用的进程监控和管理的特性，包括内存监控，http接口监控，邮件和短信通知机制等。同样的，superlance本身也是使用python编写的。官网资料：http://s 阅读全文

posted @ 2019-11-20 19:35 星辰大海ゞ阅读(1622) 评论(0) 推荐(1)

Flume监控指标项

摘要：配置监控 1、修改flume-env.sh 2、使用以下启动命令指标项整理 OS监控项 json数据格式指标项说明 source监控项 channel监控项 sink监控项 Flume启动关闭脚本： # vim flume.sh # sh flume.sh start 阅读全文

posted @ 2019-11-19 15:33 星辰大海ゞ阅读(1338) 评论(0) 推荐(0)

使用Flume-Taildir和rocketmq-flume与RocketMQ的结合

摘要：一、Fume-Taidir Flume1.7.0加入了taildirSource作为agent的source。可以说是 Spooling Directory Source + Exec Source 的结合体。可以监控多个目录，并且使用正则表达式匹配该目录中的文件名进行实时收集，并记录每个文件最新消阅读全文

posted @ 2019-11-18 18:02 星辰大海ゞ阅读(1058) 评论(0) 推荐(0)

RocketMQ、Kafka、RabbitMQ的对比

摘要： RocketMQ 相比于 RabbitMQ、Kafka 具有主要优势特性有：支持事务型消息（消息发送和DB操作保持两方的最终一致性，RabbitMQ 和Kafka 不支持）支持结合 RocketMQ 的多个系统之间数据最终一致性（多方事务，二方事务是前提）支持18个级别的延迟消息（Rabbit 阅读全文

posted @ 2019-11-15 19:28 星辰大海ゞ阅读(1954) 评论(0) 推荐(0)

Kafka集群管理工具kafka-manager

摘要：一、kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区阅读全文

posted @ 2019-11-15 16:00 星辰大海ゞ阅读(1318) 评论(0) 推荐(0)

Kafka架构与原理

摘要：前言 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topi 阅读全文

posted @ 2019-11-14 19:03 星辰大海ゞ阅读(496) 评论(0) 推荐(0)

RocketMQ安装部署

摘要：一、简介RocketMQ RocektMQ是阿里巴巴在2012年开源的一个纯java、分布式、队列模型的第三代消息中间件，不仅在传统高频交易链路有着低延迟的出色表现，在实时计算等大数据领域也有着不错的吞吐。 2016年11月11号，双十一大促见证了RocketMQ低延迟存储架构的成功试水，99.99 阅读全文

posted @ 2019-11-12 15:02 星辰大海ゞ阅读(677) 评论(0) 推荐(0)

Nginx之Rewrite规则

摘要： ingress-nginx里面的rewrite注解：官网链接 https://kubernetes.github.io/ingress-nginx/examples/rewrite/ $1表示路径中正则表达式匹配的第一个()的内容，$2为第二个，以此类推。在版本0.22.0或更高版本中，需要传递阅读全文

posted @ 2019-11-07 15:28 星辰大海ゞ阅读(3588) 评论(0) 推荐(1)

Openresty与Tengine

摘要： Tengine官方网站：http://tengine.taobao.org/index_cn.html OpenResty官方网站：http://openresty.org/ Openresty和Tengine基于 Nginx 的两个衍生版本，某种意义上他们都和淘宝有关系，前者是前淘宝工程师章亦春主阅读全文

posted @ 2019-11-07 10:50 星辰大海ゞ阅读(3001) 评论(0) 推荐(0)

Nginx接入gPRC

摘要： gPRC官网：https://grpc.io/ NGINX将在1.13.10版本中包含grpc相关功能这个版本支持NGINX代理gRPC TCP连接。可以用来：发布gRPC服务，包括未加密/加密的gRPC服务。通过单个endpoint发布多个gRPC服务，使用NGINX路由到后端服务。甚至可阅读全文

posted @ 2019-11-06 11:45 星辰大海ゞ阅读(2081) 评论(0) 推荐(0)

Logstash动态模板映射收集Nginx的Json格式日志

摘要： Logstash传输给ES的数据会自动映射为5索引，5备份，字段都为text的的索引。这样基本上无法进行数据分析。所以必须将Logstash的数据按照既定的格式存储在ES中，这时候就要使用到ES模板技术了。在ES中可以定义自定义模板和动态模板，之后es会自动将相关索引映射为模板规定的格式编译动态映阅读全文

posted @ 2019-11-01 15:45 星辰大海ゞ阅读(1914) 评论(0) 推荐(0)

ELK集群安装配置X-Pack

摘要：目前使用的版本不是最新的-6.2.4，6.3以后的版本应该就是集成的了官方资料：在线安装步骤：https://www.elastic.co/cn/downloads/x-pack 离线安装步骤：https://www.elastic.co/guide/en/x-pack/6.2/installi 阅读全文

posted @ 2019-10-16 17:45 星辰大海ゞ阅读(1354) 评论(0) 推荐(0)

ES开启慢查询日志

摘要：默认情况，慢日志是不开启的。要开启它，需要定义具体动作（query，fetch 还是 index），你期望的事件记录等级（ WARN、INFO、DEBUG、TRACE 等），以及时间阈值。 es有几种搜索模式，比如 query_then_fetch , 表示先从各个节点query到id，然后整合，再阅读全文

posted @ 2019-10-15 12:06 星辰大海ゞ阅读(8875) 评论(2) 推荐(0)

Supervisor进程守护工具的使用

摘要： Supervisor是一个 Python 开发的 client/server 系统，可以管理和监控类 UNIX 操作系统上面的进程。官网：http://supervisord.org/ GitHub：https://github.com/Supervisor/supervisor Supervis 阅读全文

posted @ 2019-09-29 15:13 星辰大海ゞ阅读(1120) 评论(0) 推荐(0)

虚拟机 /dev/mapper/centos-root 动态扩容

摘要：该LVM分区动态扩容分两种情况：一、扩容原有磁盘/dev/sda 首先在虚拟机控制台扩容已有的sda后二、新加磁盘进行扩容在虚拟机控制台新加磁盘后，并重启虚拟机阅读全文

posted @ 2019-09-23 17:16 星辰大海ゞ阅读(2293) 评论(0) 推荐(0)

导航

公告