摘要：
断言方法框架总结：https://blog.csdn.net/qq1124794084/article/details/51668672 如果单元测试通过，说明我们测试的这个函数能够正常工作。如果单元测试不通过，要么函数有bug，要么测试条件输入不正确，总之，需要修复使单元测试能够通过。 单元测试通 阅读全文
posted @ 2019-01-04 11:33
Corey0606
阅读(255)
评论(0)
推荐(0)
摘要：
1.接触过几种爬虫模块： urllib, requests 2.robots协议是什么： requests模块没有使用硬性的语法对该协议进行生效。 scrapy硬性语法对该协议进行了生效 3.如何处理验证码： 云打码平台 打码兔 4.掌握几种数据解析的方式： 正则、xpath、 bs4 5.如何爬取 阅读全文
posted @ 2019-01-02 15:47
Corey0606
阅读(226)
评论(0)
推荐(0)
摘要：
UA池(每一次请求采用池中的随机UA) a) 在中间件类中进行导包 b)封装一个基于UserAgentMiddleware的类，且重写该类 例： middleware.py settings.py 代理池（IP 每次请求的IP地址随机从IP池中获取） middleware.py 阅读全文
posted @ 2019-01-02 15:23
Corey0606
阅读(554)
评论(0)
推荐(0)
摘要：
大多数在主体内容放在js代码里，想要爬取网页的整个内容 在scrapy里面应用selenium wangyiPro.py 通过spider传递 middleware.py 里面加入selenium操作 阅读全文
posted @ 2019-01-02 15:19
Corey0606
阅读(499)
评论(0)
推荐(0)
摘要：
1.基于RedisSpider实现的分布式爬虫（网易新闻） a) 代码修改（爬虫类）： i.导包： from scrapy_redis.spiders import RedisSpider ii. 将爬虫类的父类修改成RedisSpider iii. 将起始url列表注释，添加一个redis_key 阅读全文
posted @ 2019-01-02 15:03
Corey0606
阅读(261)
评论(0)
推荐(0)
摘要：
在编程的过程中，我们经常会重复性的写了很多的代码，比如一个页面的框架部分，这样我又多少个页面就得写上多少次，这样既不好维护，也不够高效，所以我们引出了html的模板继承部分。 1、写好一个html文件。 2、下面有个新的html文件需要继承上面这个html。 直接在这个新的html文件的最顶端，写上 阅读全文
posted @ 2018-12-27 17:30
Corey0606
阅读(839)
评论(0)
推荐(0)
摘要：
1.{% load staticfiles %} 2.{% load rbac %} {% menu_html request %} 这部分就会变成用inclusion_tag生成的menu_html 左侧菜单的生成templatetags目录下的rbac.py 功能；生成页面中的左侧菜单用incl 阅读全文
posted @ 2018-12-27 17:22
Corey0606
阅读(1255)
评论(0)
推荐(0)
摘要：
作者：SlashBoyMr_wang
链接：https://www.jianshu.com/p/b23c77852e33
來源：简书 阅读全文
posted @ 2018-12-27 15:52
Corey0606
阅读(326)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/PythonHomePage/p/7634394.html 阅读全文
posted @ 2018-12-25 10:16
Corey0606
阅读(80)
评论(0)
推荐(0)
摘要：
1.如果在centos里新创建的工程，需要对templates在settings里面配置路径 settings.py static静态文件 需在nginx配置里添加路径（只在settings.py 里配置无效） 阅读全文
posted @ 2018-12-24 17:28
Corey0606
阅读(115)
评论(0)
推荐(0)
浙公网安备 33010602011771号