dogfei

2023年4月12日

摘要：一、自定义模块运行原理二、自定义模块实战 2.1 shell方式 2.2 python方式 2.3 golang方式三、测试验证 3.1 shell方式验证 3.2 python方式验证 3.3 golang方式验证 ansible已经提供了非常多的模块，涵盖了系统、网络、数据库、容器、以及其他阅读全文

posted @ 2023-04-12 23:50 dogfei 阅读(408) 评论(0) 推荐(0)

ansible中过滤器的介绍以及如何自定义过滤器

摘要：一、过滤器介绍二、常用过滤器介绍 2.1 类型转换 2.2 数学运算 2.3 字典转换为列表 2.4 将字典中的所有key生成一个list 2.5 总结三、自定义过滤器四、总结之前介绍了关于如何通过shell, python, golang等语言实现自定义模块，可以参考这篇文章：今天主要是阅读全文

posted @ 2023-04-12 23:49 dogfei 阅读(619) 评论(0) 推荐(0)

2021年11月7日

python爬虫之使用协程爬取小电影

摘要：为了防止xxxxxx问题，这里对url进行base64处理一下，如果要访问需要encode下本文是结合了两个案例，来介绍协程，通过这俩案例，我们能对协程有一个更加清晰认识，在阅读本篇文章前，建议先看之前的两篇文章。并发爬取视频 1. 解析网页获取视频地址 base64 decode之后的url地阅读全文

posted @ 2021-11-07 11:34 dogfei 阅读(1688) 评论(0) 推荐(0)

python基础之多线程和线程池

摘要：为什么要引入并发编程场景1：一个网络爬虫，按顺序爬取花了1小时，采用并发下载减少到20分钟场景2：一个APP应用，优化前每次打开页面需要3秒，采用异步并发提升到打开每次200毫秒其实引入并发就是为了提升程序的运行速度。 python中对并发编程的支持多线程：threading模块，利用CPU 阅读全文

posted @ 2021-11-07 11:30 dogfei 阅读(1380) 评论(0) 推荐(0)

python爬虫基础之xpath使用教程

摘要：介绍 XPath是一种XML路径语言，被用于在XML文档中通过元素和属性进行导航安装 pip install lxml 使用 html示例内容，下面的所有练习全都来自与此段示例 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8 阅读全文

posted @ 2021-11-07 11:25 dogfei 阅读(917) 评论(0) 推荐(0)

2021年8月8日

使用python多进程爬取网页图片

摘要： 1. 爬虫简单介绍当我们打开一个网页，在上面发现一些了有用的信息之后，于是通过人工的方式从网页上一顿操作将信息记录起来，而通过爬虫，则可以利用一些设定好的规则以及方法来自动的从该网页上获取信息，总而言之就是解放双手，释放天性。 2. 爬取图片是的，今天就是要爬取这个网站上的图片，这个网站上的图片阅读全文

posted @ 2021-08-08 18:19 dogfei 阅读(292) 评论(0) 推荐(0)

2021年8月2日

日志收集详解之logstash解析日志格式(一)

摘要：此系列文章一共分为三部分，分为 filebeat 部分，logstash 部分，es 部分。通过此系列的文章，可以快速了解整个日志收集的大概，本篇主要讲解logstash这一块 1. logstash 介绍版本：logstash-7.12.0 logstash就是用来处理数据的，通过建一个管道，将阅读全文

posted @ 2021-08-02 23:31 dogfei 阅读(10576) 评论(1) 推荐(1)

2021年6月20日

不到200行代码，使用python写一个超简单的跳板机工具

摘要：使用python的pexpect模块完成一个简易跳板机阅读全文

posted @ 2021-06-20 21:39 dogfei 阅读(285) 评论(0) 推荐(0)

2021年4月20日

日志收集之filebeat使用介绍

摘要： filebeat最新版7.12企业级生产实践阅读全文

posted @ 2021-04-20 10:01 dogfei 阅读(4246) 评论(0) 推荐(2)

2021年3月17日

prometheus实战---告警模板编写（四）

摘要：本篇文章主要介绍如何编写alertmanager的告警模板，使用这个告警模板，可以格式化我们的告警信息，让告警内容更加易读和美观 prometheus 告警规则详解: https://www.dogfei.cn/archives/alertmanager-rule prometheus 配置文件参考阅读全文

posted @ 2021-03-17 21:55 dogfei 阅读(4279) 评论(0) 推荐(0)

公告