摘要：
Pytest 命名： 文件：以text_开头或者_text结尾 类：Text开头 方法/函数（类内方法，类外函数）： text_开头 测试包无要求 测试类不可以添加_init_构造函数 Pytest 在pycharm设置后，会自动识别命名正确的函数和方法 用例结构： 用例名称 用例步骤 用例断言 类 阅读全文
摘要：
网站应用与防御 XSS攻击：站点脚本攻击，指黑客通过篡改网页，注入恶意HTML脚本，在用户浏览网页时，控制用户浏览器进行恶意操作的一种攻击方式；常见的XSS攻击类型主要有2种：反射型和持久型XSS攻击。 反射型：攻击者诱使用户点击一个嵌入恶意脚本的链接，达到攻击的目的 持久型XSS攻击：黑客提交含有 阅读全文
摘要：
架构漫谈指出的问题：什么是架构，架构为谁服务，以及为什么要有架构。用一句话总结就是架构服务于人，将复杂问题简单化，简单问题流程化。 文章指出，每个角色的能力都是有限的，为了节省时间，提高效率以及完善这个系统，我们引出了架构这个概念。架构完成的很巧妙，既要结合成整体的角色之间干好自己的事情，组成的整体 阅读全文
摘要：
import scrapy import json class TestpostSpider(scrapy.Spider): name = 'testpost' allowed_domains = ['https://fanyi.baidu.com/sug'] # post请求 如果没有参数 那么这 阅读全文
摘要：
（1）日志级别： CRITICAL：严重错误 ERROR： 一般错误 WARNING： 警告 INFO: 一般信息 DEBUG： 调试信息 默认的日志等级是DEBUG 只要出现了DEBUG或者DEBUG以上等级的日志 那么这些日志将会打印 （2）settings.py文件设置： 默认的级别为DEBU 阅读全文
摘要：
CrawlSider: 1.继承自scrapy.Spider 2.独门秘笈 CrawlSpider可以定义规则，再解析html内容的时候，可以根据链接规则提取出指定的链接，然后再向这些链接发 送请求 所以，如果有需要跟进链接的需求，意思就是爬取了网页之后，需要提取链接再次爬取，使用CrawlSpid 阅读全文
摘要：
设计多个页面的时候，要用到meta参数 获取第一页的链接，第二页的图片。 import scrapy from scrapy_movie_099.items import ScrapyMovie099Item class MvSpider(scrapy.Spider): name = 'mv' al 阅读全文
摘要：
yield 开启多管道在setting.py中新开一个管道 ，pipelines 下写详细，注意url地址。 当当网爬取案例 import scrapy from scrapy_dangdang_095.items import ScrapyDangdang095Item class DangSpi 阅读全文
摘要：
scrapy shell ： Scrapy终端，是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。 其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python终端，在上面测试任何的Python代码。 该终端是用来测试XPath或CSS表达式，查看他们的工作方式及从爬取 阅读全文
摘要：
汽车之间案例： import scrapy class CarSpider(scrapy.Spider): name = 'car' allowed_domains = ['https://car.autohome.com.cn/price/brand-15.html'] # 注意如果你的请求的接口 阅读全文