运维人在路上

摘要： Python模块总结 一、Python模块定义与分类 1.1、定义 把一些常用的函数放在一个py文件中，这个文件就称之为模块，模块，就是一些列常用功能的集合体 1.2、为什么使用模块 1）通常将程序分成一个个的文件，这样做程序的结构更清晰，方便管理。这时我们不仅仅可以把这些文件当做脚本去执行，还可以 阅读全文

摘要： Python函数 一、函数的初识 1.1、面向过程 1）获取任意一个字符串的元素的个数 s1 = 'fdskjlgfdgfdjkslgdfjkjafdsajk' count = 0 for i in s1: count += 1 print(count) 2）获取列表的元素的个数 l1 = [1, 阅读全文

摘要： 一、监控概述 1.1、为什么要监控 监控是整个运维乃至整个产品生命周期中重要的一环，事前及时预警发现故障，事后提供详实的数据用于追查定位问题。 对系统不间断实时监控 实时反馈系统当前状态 保证服务可靠性安全性 保证业务持续稳定运⾏ 1.2、如何进行监控 # ⽐如我们需要监控磁盘的使⽤率 1.如何查看 阅读全文

摘要： 一、Flume概述 1.1、Flume定义 官方网站：http://flume.apache.org/ Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, a 阅读全文

摘要： 一、Kafka Eagle 1.1、Eagle安装 4）修改环境变量 6）使用docker安装mysql 安装docker： 安装mysql： 创建数据库： 7）启动 1.2、Eagle简单使用 1）启动消费者 2）eagle中查看topic及消费者 3）启动生产者 4）查看 5）Brokers监控 阅读全文

摘要： 一、Producer API 1.1、消息发送流程 1.2、异步发送API 1）导入依赖 1.3、同步发送 API 二、Consumer API 2.1、自动提交 offset 2.2、手动提交 offset 2.3、自定义存储 offset 三、自定义 Interceptor 3.1、拦截器原理 阅读全文

摘要： 一、Kafka 工作流程及文件存储机制 二、Kafka 生产者 2.1、分区策略 2.2、数据可靠性保证 2.2.1、副本数据同步策略 半数以上完成同步就发送ack 延迟低 选举新的 leader 时，容忍 n 台 节点的故障，需要 2n+1 个副 本 选举新的 leader 时，容忍n 台 节点的 阅读全文

摘要： 一、Kafka概述 1.1、定义 1.2、消息队列 1.2.1、消息队列的应用场景 1.2.2、消息队列的好处 1）解耦 1.2.3、消息队列的两种模式 二、Kafka基础架构 三、Kafka集群安装 3.1、集群规划 3.2、软件下载 官网：http://kafka.apache.org/down 阅读全文

摘要： 一、环境搭建 1）创建一个maven工程 2）添加依赖 3）创建log4j.properties 二、API使用 2.1、创建ZooKeeper客户端 2.2、创建子节点 2.3、获取子节点并监听节点变化 2.4、判断Znode是否存在 三、监听服务器节点动态上下线案例 1）需求 3）具体实现 （1 阅读全文

摘要： 一、倒排索引案例（多job串联） 1.1、需求及分析 1.2、代码编写 1.2.1、第一次处理 1.1.2、第二次处理 二、TopN案例 2.1、需求及分析 2.2、代码实现 三、共同好友案例 3.1、需求及分析 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L 阅读全文