摘要：
rometheus查询无数据，Grafana不显示数据 阅读全文
摘要：
0x00 拷贝本机/home/administrator/test整个目录至远程主机192.168.1.100的/root目录下 代码如下: scp -r /home/administrator/test/ root@192.168.1.100:/root/ 0x01 拷贝本地单个文件至远程主机 代 阅读全文
摘要：
0x00 概述 当 Prometheus 有配置文件修改，我们可以采用 Prometheus 提供的热更新方法实现在不停服务的情况下实现配置文件的重新加载。 0x01 热更新 热更新加载方法有两种： 当你采用以上任一方式执行 reload 成功的时候，将在 promtheus log 中看到如下信息 阅读全文
摘要：
0x00 概述 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。 0x01 性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设 阅读全文
摘要：
0x00 摘要 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer 阅读全文
摘要：
0x00 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提 阅读全文
摘要：
0x00 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于 阅读全文
摘要：
0x00 概述 随着苹果 macOS Mojave 正式版发布，很多使用 Mac 电脑的同学都已升级到最新版了。但如果你对系统有洁癖或原本系统已凌乱不堪，那么可能还是希望能格式化「全新安装 macOS」的。 不过由于苹果官方只提供了 macOS 的升级程序，并没提供完整 dmg 镜像，想要全新安装的 阅读全文
摘要：
0x00 概述 本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用p 阅读全文
摘要：
0x00 概述 filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，但是部署后发现资源占用很大，所以怀疑是filebeat本身出了问题。 第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat，K8S需要在控制台实时查看pod的日志），发现有大量 阅读全文
摘要：
【Cluster】集群，一个ES集群由一个或多个节点（Node）组成，每个集群都有一个cluster name作为标识 【node】节点，一个ES实例就是一个node，一个机器可以有多个实例，所以并不能说一台机器就是一个node，大多数情况下每个node运行在一个独立的环境或虚拟机上。 【index 阅读全文
摘要：
日志类： -log.level 可选值 [debug, info, warn, error, fatal] 例：-log.level "info" -log.format 可选输出到syslog或者控制台 例：-log.format "logger:syslog?appname=prom&local 阅读全文
摘要：
0x00 概述 本节中的示例包括以下内容： 将Java堆栈跟踪日志组合成一个事件 将C风格的日志组合成一个事件 结合时间戳处理多行事件 同理，你可以把如下的正则应用在容器的yaml文件内。 0x01 Java堆栈日志 Java示例一： Java堆栈跟踪由多行组成，每一行在初始行之后以空格开头，如本例 阅读全文
摘要：
0x00 概述 AIX机器真难用，一时半会还真适应不了。 0x01 压缩tar 命令格式： # tar -cvf (或xvf)+文件名+设备 C：是本地到其他设备 x：是其他设备到本地 r：是追加，比如打包时，将其他文件追加进来使用该参数。 t：显示tar包里的内容，但还原文件。 例如： # tar 阅读全文
摘要：
0x00 概述 搭建FTP，或者是搭建网络文件系统，这些方法都能够实现Linux的目录共享。但是FTP和网络文件系统的功能都过于强大，因此它们都有一些不够方便的地方。比如你想快速共享Linux系统的某个目录给整个项目团队，还想在一分钟内做到，怎么办？ 很简单，使用SimpleHTTPServer。 阅读全文
摘要：
最近用了prometheus 2.0 版本，感觉改变还是有点大，现将改变相关记录如下： 1、prometheus.yml文件配置修改后，要想重新加载，必须在启动的时候添加参数： --web.enable-lifecycle 比如： 2、报警规则和记录数据规则已经不在是 rules 文件格式，完全改成 阅读全文
摘要：
0x00 背景 K8S内运行Spring Cloud微服务，根据定制容器架构要求log文件不落地，log全部输出到std管道，由基于docker的filebeat去管道采集，然后发往Kafka或者ES集群。 0x01 多行匹配和yaml文件 在filebeat启动的yaml文件内，指定相应的名称空间 阅读全文
摘要：
0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01 问题复现 1. 登录Kafka集群所在的服务 阅读全文
摘要：
0x00 64位系统中安装了32位程序解决办法 是因为64位系统中安装了32位程序 解决方法： 0x01 解决交叉编译环境错误 详细参考https://www.cnblogs.com/xcloudbiz/articles/5144970.html 阅读全文
摘要：
0x00 前言 手上的Thinkpad T470P屏幕是1920x1080的屏幕，色域范围NTSC 45%，作为一块办公用屏是正常配置，但是考虑到色彩显示和色域范围，计划升级到2K屏幕。 2k屏幕参数如下，已经达到了视网膜级别，而且色域提升到了72%，颜色显示深度更高。 0x01 注意要点 拆机换屏 阅读全文
摘要：
0x00 软件包管理器 所有的软件都是由文件格式的程序代码(即源代码)，经过编译成为一个可执行二进制文件；对于一个软件来说，其包含二进制程序、库文件、配置文件以及帮助文件。在应用中，每次要安装程序时通过找源代码然后去编译成二进制文件，这个过程要花费大量的时间，所以就有了程序包管理器。程序包管理器的功 阅读全文
摘要：
0x00 概述 对于Linux系统来说，一切的数据都起源于磁盘中存储的文件。Linux文件系统的结构及其在磁盘中是如何存储的？操作系统是怎样找到这些文件进行读取的？这一章主要围绕这几个问题进行介绍（以Ext2文件系统（传统的linux文件系统）为例）。 0x01 Linux系统目录树 linux文件 阅读全文
摘要：
0x00 什么是swap分区 Swap分区在系统的物理内存不够用的时候，把物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap分区中，等到那些程序要运行时，再从Swap分区中恢复保存的数据到内存中。swa 阅读全文
摘要：
0x00 正则表达式概述 正则表达式是描述一些字符串的模式，是由一些元字符和字符组成的字符串，而这些元字符是一些表示特殊意义的字符，即被正则表达式引擎表达的字符表示与其本意不同的一些字符。 0x01 正则表达式的分类 基本正则表达式扩展正则表达式 0x02 基本正则表达式的元字符 1、匹配字符： 2 阅读全文
摘要：
0x00 概述 Grafana 是一个开源的，可以用于大规模指标数据的可视化项目，甚至还能对指标进行报警。基于友好的 Apache License 2.0 开源协议，目前是prometheus监控展示的首选。优点如下： 1.使用： 配置方便：支持Dashboard、Panel、Row等组合，且支持折 阅读全文
摘要：
Linux磁盘及文件系统管理 CPU,memory(RAM),I/O i/o: disks,ehtercard disks:持久存储数据 接口类型: IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高，干扰频率越高 ... 阅读全文
摘要：
RAID: Redundant Arrays of Inexpensive Disks Independent Berkeley: A case for Redundent Arrays of Inexpensive Disks RAID 提高IO能力： 磁盘并行读写； ... 阅读全文
摘要：
0x00 btrfs文件系统简介 btrfs文件系统：技术预览版(Centos7)Btrfs(B-tree、Butter FS、Better FS)，GPL授权，Orale2007提出是想用来取代Ext文件系统 0x01 btrfs核心特性 0x02 btrfs文件系统使用 卷创建 属性查看 挂载 阅读全文
摘要：
0x00 LVM概述 LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组 阅读全文
摘要：
0x00 机械硬盘 机械磁盘由磁头（head）、磁道（track）、柱面（cylinder）、扇区（sector）和盘片（platter）组成。其中，磁头悬浮在盘片上，并且每张盘片上下各有一个磁头；每张盘片的磁道数是相同的，每张盘片相同位置的磁道组成柱面；而每一个磁道由数量相同的扇区组成，我们知道离 阅读全文
摘要：
0x00 firewalld的基本使用 0x01 systemctl是CentOS7的服务管理工具中主要的工具，它融合之前service和chkconfig的功能于一体。 0x02 配置firewalld-cmd 添加一个端口 重新载入 查看 删除 阅读全文
摘要：
shell中可能经常能看到：>/dev/null 2>&1 命令的结果可以通过%>的形式来定义输出 分解这个组合：“>/dev/null 2>&1” 为五部分。 那么本文标题的语句执行过程为： 阅读全文
摘要：
0x00 概述 本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。 Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafk 阅读全文
摘要：
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test 阅读全文
摘要：
0x00 概述 本文是从K8S内微服务的角度讨论Nginx超时的问题 0x01 问题 在K8S内部署微服务后，发现部分微服务链接超时，Connection Time Out。 最近碰到了一个 Nginx 做为反向代理设置上的坑。起因是将 Nginx 做为反向代理服务器，来统一处理内网服务的转发。使用 阅读全文
摘要：
0x00 链接文件 Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 【软连接】 另外一种连接称之为符号连接（Symbolic Link），也叫软连接。软链接文件有类似于Windows的快捷方式。它实际 阅读全文
摘要：
详细参考这篇文章，几乎覆盖了了K8S的各种日志搜集方案 https://juejin.im/post/5b6eaef96fb9a04fa25a0d37#heading-8 阅读全文
摘要：
0x00 关于Vim Vim是款强大的文本编辑器，但是众多指令需要学习，这次记录了指令大全方便以后翻阅。 Vim的几种模式 正常模式：可以使用快捷键命令，或按:输入命令行。 插入模式：可以输入文本，在正常模式下，按i、a、o等都可以进入插入模式。 可视模式：正常模式下按v可以进入可视模式， 在可视模 阅读全文
摘要：
0x00 概述 很多情况下我们为某一应用做好镜像，当我们想修改其中的一些参数的时候，就变得比较麻烦，又要重新制作镜像，我们是不是有一种方式，让镜像根据不同的场景调用我们不同的配置文件呢，那我们就需要用到 k8s 的另外一种资源，那就是 ConfigMap。 我们知道，在几乎所有的应用开发中，都会涉及 阅读全文
摘要：
0x00 概述 K8S内部署微服务后，对应的日志方案是不落地方案，即微服务的日志不挂在到本地数据卷，所有的微服务日志都采用标准输入和输出的方式(stdin/stdout/stderr)存放到管道内，容器日志采用的是json格式。 目前大部分K8S容器日志都采用Fluent或者Fluent-bit，将 阅读全文