2019 年 3月 7 日随笔档案 - onefine

摘要： 1. 新建知乎爬虫：> scrapy genspider zhihu www.zhihu.com编写zhihu spider的页面解析函数parse()，由于此函数被要求返回一个可迭代对象，所以这里直接返回一个空列表作为测试。# -*- coding: ut... 阅读全文

posted @ 2019-03-07 18:24 onefine 阅读(326) 评论(0) 推荐(0) 编辑

摘要：一、Downloader Middleware 的用法Downloader Middleware即下载中间件，它是处于Scrapy的Request和Response之间的处理模块。Scheduler从队列中拿出一个Request发送给Downloader执行... 阅读全文

posted @ 2019-03-07 09:29 onefine 阅读(1167) 评论(0) 推荐(0) 编辑

摘要：详解：https://www.cnblogs.com/thunderLL/p/6551641.html参考：Scrapy框架–Requests对象 https://www.cnblogs.com/thunderLL/p/6551641.html爬虫：Scr... 阅读全文

posted @ 2019-03-07 00:02 onefine 阅读(218) 评论(0) 推荐(0) 编辑

摘要：转载： https://www.zhihu.com/question/19801131/answer/27459821什么是回调函数？我们绕点远路来回答这个问题。编程分为两类：系统编程（system programming）和应用编程（application... 阅读全文

posted @ 2019-03-07 00:00 onefine 阅读(11255) 评论(0) 推荐(0) 编辑

onefine