摘要: 一、模拟登陆 1、为什么要进行模拟登陆 有时,我们需要爬取一些基于个人用户的用户信息(需要登陆后才可以查看) 2、为什么要需要识别验证码 因为验证码往往是作为登陆请求中的请求参数被使用 3、验证码识别:借助于线上的一款打码平台(超级鹰、云打码、打码兔) 超级鹰网站:http://www.chaoji 阅读全文
posted @ 2019-06-13 22:03 五仁儿 阅读(908) 评论(0) 推荐(0) 编辑
摘要: 1.什么是爬虫 通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程 2.爬虫的分类: 通用爬虫:爬取一整张页面源码数据 聚焦爬虫:爬取页面中指定的局部数据 增量式爬虫:检测网站数据更新的情况,爬取的就是网站中最新更新出来的数据。 3.反爬机制: (1)第一个反爬机制 robots.txt协 阅读全文
posted @ 2019-06-11 20:54 五仁儿 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 一、es是什么 es是基于Apache Lucene的开源分布式(全文)搜索引擎,提供简单的RESTful API来隐藏Lucee的复杂性。 es除了全文搜索引擎之外,还可以这样描述: 1.分布式的实时文件存储,每个字段都被索引并可被搜索 2.分布式的实时分析搜索引擎 3.可以扩展到成百上千台服务器 阅读全文
posted @ 2019-05-20 23:05 五仁儿 阅读(404) 评论(0) 推荐(0) 编辑
摘要: playbook 剧本 一、操作都是幂等的 即操作过后就不会操作了 ymal 配置文件 格式为: 字典: key: value (冒号后面必须有空格) 列表 - playbook的格式 了解了playbook的命令的格式接下来看看怎么使用吧 首先新建一个文件里面写咱们的代码,文件结尾为.yml的文件 阅读全文
posted @ 2019-05-07 19:54 五仁儿 阅读(2123) 评论(0) 推荐(0) 编辑
摘要: 一、ansible中的File模块 file模块是对文件进行的操作 补充知识 软连接 快捷方式 ln -s 源文件修改软连接修改 源文件删除软连接失效 可以跨分区 硬链接 硬盘的位置 ln 源文件修改硬链接修改 源文件删除硬链接不变 不可以跨分区复制 开辟新空间 cp 源文件修改cp的不变 源文件删 阅读全文
posted @ 2019-05-06 22:40 五仁儿 阅读(1650) 评论(0) 推荐(0) 编辑
摘要: 一、ansible的安装与介绍 ansible需要安装在管控机上 首先安装wget(如果机器上有可以忽略) 下载安装wget 将epel源下载安装到本地 安装ansible ansible的命令格式 测试下主控机和被控机是否可以连接通 其中ping走的是ICMP协议 查看ansible生成的文件 / 阅读全文
posted @ 2019-05-05 22:55 五仁儿 阅读(982) 评论(0) 推荐(0) 编辑
摘要: 一、before_request装饰器和after_request装饰器 我们现在有一个Flask程序其中有3个路由和视图函数 如果我们需要让用户登录才可以看到index和home怎么办就需要认证下也就用到了session,查看session中有没有数据就可以了所以我们就要在请求index页面和ho 阅读全文
posted @ 2019-04-14 19:55 五仁儿 阅读(371) 评论(0) 推荐(0) 编辑
摘要: Flask中路由系统以及蓝图的使用 阅读全文
posted @ 2019-04-14 18:32 五仁儿 阅读(1240) 评论(0) 推荐(0) 编辑
摘要: 初识Flask框架,以及Flask中的模板语言jinjia2和Flask内置的Session 阅读全文
posted @ 2019-04-12 17:57 五仁儿 阅读(630) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一、视图 二、触发器 三、事务 四、存储过程 五、函数 六、流程控制 一、视图 视图是一个虚拟表(非真实存在),是跑到内存中的表,真实表是硬盘上的表,怎么就得到了虚拟表,就是你查询的结果,只不过之前我们查询出来的虚拟表,从内存中取出来显示在屏幕上,内存中就没有了这些表的数据,但是下次我要是 阅读全文
posted @ 2019-02-01 18:03 五仁儿 阅读(326) 评论(0) 推荐(0) 编辑