2020年6月14日
摘要: 随笔分类 - Scrapy Spider Learning Scrapy学习-25-Scrapyd部署spider 摘要:Scrapyd部署爬虫项目 github项目 https://github.com/scrapy/scrapyd 官方文档 http://scrapyd.readthedocs. 阅读全文
posted @ 2020-06-14 11:18 KD_131 阅读(126) 评论(0) 推荐(0) 编辑
  2020年5月30日
摘要: Python爬虫总结 总的来说,Python爬虫所做的事情分为两个部分,1:将网页的内容全部抓取下来,2:对抓取到的内容和进行解析,得到我们需要的信息。 目前公认比较好用的爬虫框架为Scrapy,而且直接使用框架比自己使用requests、 beautifulsoup、 re包编写爬虫更加方便简单。 阅读全文
posted @ 2020-05-30 09:19 KD_131 阅读(2834) 评论(0) 推荐(0) 编辑
  2020年5月16日
摘要: python 全栈开发,Day60(MySQL的前戏,数据库概述,MySQL安装和基本管理,初识MySQL语句) python 全栈开发,Day61(库的操作,表的操作,数据类型,数据类型(2),完整性约束) python 全栈开发,Day62(外键的变种(三种关系),数据的增删改,单表查询,多表查 阅读全文
posted @ 2020-05-16 12:25 KD_131 阅读(229) 评论(1) 推荐(0) 编辑
摘要: 目录 一.python中的对象(类)和接口 1.对象/类 2.接口 3.python中接口的两种写法 写法一 写法二 二.设计模式六大原则 三.设计模式分类 1.简单工厂模式 2.工厂方法模式 3.抽象工厂模式 4.单例模式 5.创建型模式小结 6.适配器模式 7.代理模式 8.责任链模式 9.观察 阅读全文
posted @ 2020-05-16 12:22 KD_131 阅读(152) 评论(0) 推荐(0) 编辑
  2020年4月22日
摘要: 为甚要设计索引? 如何设计索引? 设计索引时使用什么数据结构? mysql是如何实现的? 数据库里的数据都保存在磁盘里。 文件 1.关键值:key 2.文件名称 3.偏移量 offset 索引的文件存储形式与引擎有关: mysql中的存储引擎:myisam,innodb,memory memory用 阅读全文
posted @ 2020-04-22 12:16 KD_131 阅读(1743) 评论(0) 推荐(0) 编辑
  2020年4月20日
摘要: CRUD 索引初始化操作,指定分片和副本数量,shards一旦指定就不能修改。PUT lagou2{ "settings":{ "index":{ "number_of_shards":5, "number_of_replicas":1 } }} 获取settings的方式,其中方式2和方式4是一样 阅读全文
posted @ 2020-04-20 15:18 KD_131 阅读(291) 评论(0) 推荐(0) 编辑
  2020年4月19日
摘要: https://blog.csdn.net/zolalad/article/details/16344661?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-6&utm_source=dist 阅读全文
posted @ 2020-04-19 23:52 KD_131 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 转:https://blog.csdn.net/qq_23079443/article/details/73920584 Python分布式爬虫打造搜索引擎 基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站 https://github.com/mti 阅读全文
posted @ 2020-04-19 22:48 KD_131 阅读(747) 评论(0) 推荐(0) 编辑
摘要: https://www.cnblogs.com/Eric15/articles/9649714.html https://www.cnblogs.com/Eric15/articles/9557850.html 阅读全文
posted @ 2020-04-19 18:56 KD_131 阅读(215) 评论(0) 推荐(0) 编辑
  2020年4月8日
摘要: 这种情况是证书问题,即便是一两个月可以正常抓包,但是现在出现这种情况了,需要把之前的证书清除掉。 第一步:windows图标+R,打开输入certmgr.msc,进入证书管理 》“受信任的根证书颁发机构” 》“证书” 一栏找到跟 fiddler 相关的证书删除 第二步:把手机上之前安装的 fiddl 阅读全文
posted @ 2020-04-08 22:05 KD_131 阅读(533) 评论(0) 推荐(0) 编辑