摘要：
单线程+多任务异步协程:asyncio 3.6 事件循环 无限循环的对象.事件循环中最终需要将一些 特殊的函数(被async关键字修饰的函数) 注册在该对象中. 协程 本质上是一个对象.可以把协程对象(特殊的函数)注册到事件循环中 任务对象 就是对协程对象进一步的封装. 绑定回调: task.add 阅读全文
摘要：
模拟登陆 为什么要进行模拟登陆 有些时候,我们需要爬取一些基于个人用户的用户信息(需要登录后才可以查看的) 为什么需要识别验证码 因为验证码往往是作为登录请求中的请求参数被使用 验证码识别:借助于线上的一款打码平台(超级鹰,云打码,打码兔) 超级鹰的使用流程: 注册:注册一个身份的账号 登录:基于 阅读全文
摘要：
数据解析 聚焦爬虫:数据解析 数据解析的原理 标签定位 获取标签中的数据 python实现数据解析的方式: 正则 通用性强 编写复杂 不能爬取带标签的文本内容 bs4 可以爬取带标签的文本内容 只能在python中使用 编写简单 xpath 通用性强 编写程度简单 不能爬取带标签的文本内容 pyqu 阅读全文
摘要：
爬虫基础 什么是爬虫 通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程 爬虫的分类 通用爬虫:爬取一整张页面源码数据 聚焦爬虫:爬取页面中指定的局部数据 增量式爬虫:监测网站数据更新的情况.爬取的就是网站中最新更新出来的数据 requests 作用 模拟浏览器发请求 get/post参数 阅读全文
摘要：
Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点： 1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写作。 2、操作简单。比如:WYSIWYG编辑时标记个标题 阅读全文
摘要：
安装Git 最早Git是在Linux上开发的，很长一段时间内，Git也只能在Linux和Unix系统上跑。不过，慢慢地有人把它移植到了Windows上。现在，Git可以在Linux、Unix、Mac和Windows这几大平台上正常运行了。 要使用Git，第一步当然是安装Git了。根据你当前使用的平台 阅读全文
摘要：
CentOS7最小化安装后是没有 ifconfig 命令的, 所以没有办法通过 ifconfig 查看网卡相关配置信息的,但是给了另外一个方式查看 首先我们要进入网络相关的配置目录中 文件中的内容及解释 编辑文件如下修改 保存退出完成 此时如果你的linux机器无法上网,需要你将你设置的静态IP进行 阅读全文
摘要：
roles特点 - 目录结构清晰 - 可以相互调用 - import_tasks: roles/nginx/tasks/install.yml - 备份方便 文件特性详解 查找顺序 - 主文件看到roles，就回去roles目录下面找对应的目录 - 先去tasks目录里面找main.yml文件，如果 阅读全文
摘要：
补充介绍 echo 以及双引号跟单引号的区别 echo `date +%F` echo $(date +%F) a=10 echo '$a' $a echo "$a" 10 playbook需要严格的遵循yaml规范 yaml基本规范 - 冒号后面必须有空格 - 横线后面必须要空格 - 严格保持对齐 阅读全文
摘要：
ansible是什么? 由python2.7开发的一个基于模块在远程主机上批量执行命令或者脚本的一个工具 安装 下载wget yum install -y wget 将epel源下载到本地 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyu 阅读全文