摘要: 传递参数 示例一 示例二 阅读全文
posted @ 2016-12-07 13:18 microman 阅读(2596) 评论(0) 推荐(0) 编辑
摘要: 实现自动翻页功能 示例代码一 示例代码二 阅读全文
posted @ 2016-12-07 13:17 microman 阅读(2862) 评论(0) 推荐(0) 编辑
摘要: 搜索引擎爬取 阅读全文
posted @ 2016-12-07 13:15 microman 阅读(1305) 评论(0) 推荐(0) 编辑
摘要: 首先感谢“巧克力味腺嘌呤”的博客和Debian 8.1 安装配置 pyspider 爬虫,本人根据他们的教程在ubuntu系统中进行了实际操作,发现有一些不同,也出现了很多错误,因此做此教程,为新手服务。 安装pyspider 安装pyspider请参考另一篇:ubuntu系统下安装pyspider 阅读全文
posted @ 2016-12-07 13:11 microman 阅读(832) 评论(0) 推荐(0) 编辑
摘要: 本篇内容的前提是你已安装好python 3.5。在ubuntu系统中安装pyspider最大的困难是要依赖组件经常出错,特别是pycurl,但把对应的依赖组件安装好,简单了。下面直接上代码,所有的依赖我都实践过。 前面三个命令都是安装相关的依赖组件。 阅读全文
posted @ 2016-12-07 13:09 microman 阅读(898) 评论(0) 推荐(0) 编辑
摘要: 首先感谢segmentfault.com的“imperat0r_”用户的文章和新浪的“小菜一碟”用户的文章。这是他们的配置文件。我参考也写了一个,在最后呢。 重点说明写在前面。本人用supervisord配置好pyspider后,pyspider一直有问题,不能正常运行。找了很久原因。最后想起,su 阅读全文
posted @ 2016-12-07 11:06 microman 阅读(1378) 评论(0) 推荐(0) 编辑