摘要:
crawl.py中主要包含两个类: 1. CrawlSpider 2. Rule link_extractor:传LinkExtractor实例对象 callback:传”func_name“ cb_kwargs=None follow=None 跟配置文件中CRAWLSPIDER_FOLLOW_L 阅读全文
posted @ 2018-03-22 15:08 Terry_Song 阅读(256) 评论(0) 推荐(0)
|
|
|
|
摘要:
crawl.py中主要包含两个类: 1. CrawlSpider 2. Rule link_extractor:传LinkExtractor实例对象 callback:传”func_name“ cb_kwargs=None follow=None 跟配置文件中CRAWLSPIDER_FOLLOW_L 阅读全文
posted @ 2018-03-22 15:08 Terry_Song 阅读(256) 评论(0) 推荐(0)
摘要:
结构梳理>>> 第一部分: 创建型模式 工厂模式 建造者模式 原型模式 单例模式 第二部分: 结构型模式 适配器模式 修饰器模式 外观模式 享元模式 模型-视图-控制器模式 代理模式 第三部分: 行为型模式 责任链模式 命令模式 解释模式 观察者模式 状态模式 策略模式 模板模式 干货>>> 何为设 阅读全文
posted @ 2018-03-21 11:55 Terry_Song 阅读(308) 评论(0) 推荐(0)
摘要:
1. select: 监听多个文件描述符(当文件描述符条件不满足时,select会阻塞),当某个文件描述符状态改变后,将该文件描述符添加到对应返回的列表 调用: fd_r_list, fd_w_list, fd_e_list = select.select(rlist, wlist, elist, 阅读全文
posted @ 2018-03-21 11:48 Terry_Song 阅读(164) 评论(0) 推荐(0) |
|