01 2020 档案

scrapy中使用代理IP爬取数据时遇到IP失效时自动切换的方法
摘要：当使用临时的IP请求数据时，由于这些IP的过期时间极短，通常在1分钟~5分钟左右，这时scrapy就会报发以下错误 2020 01 17 17:00:48 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying 阅读全文
posted @ 2020-01-19 10:55 james_cai 阅读(3731) 评论(0) 推荐(0)
关于yield语法糖的运行时说明
摘要：yield 只能定义在function中，用来返回一个 generator 。当知道函数将返回一组只需读取 一次 的巨大值时，它会很方便。来看下以下例子 依次运行N次以下代码时，将输出什么内容？ 第一次 第二次 第三次 第四次 第五次之后 `` cc end... Traceback (most r 阅读全文
posted @ 2020-01-13 15:13 james_cai 阅读(196) 评论(0) 推荐(0)