python爬虫实战(七)--------伯乐在线文章(模版)

相关代码已经修改调试成功----2017-4-21

一、说明

1.目标网址伯乐在线

2.实现:如图字段的爬取

3.数据:存放在百度网盘,有需要的可以拿取 链接:http://pan.baidu.com/s/1nvdnzpZ 密码:2j9l

二、运行

运行我就不多说了,直接运行main.py,相关的参数变一下就好了。有点基础的应该都会。

三、学习笔记

本项目爬取伯乐在线的全部文章,主要是记录几个常用的模版可以反复使用

  1. loader机制和item处理
  2. 异步存入数据库模版
  3. 爬取图片存放目录记录
  4. main.py的模版
  5. md5加密函数
  6. scrapy框架中自动下载图片

四、问题----欢迎留言提出问题

1.暂时没有很大的问题解决不了,后期如果遇到再贴出来

五、调试中遇到的问题记录

1.TypeError:'Failure' object is not subscriptable

如图:

解决方法: 添加一个try,except,因为有些图片加载不出来

2.pymysql.err.InterfaceError: (0, '')

那是因为scrapy异步的存储的原因,太快。

解决方法:只要放慢爬取速度就能解决,setting.py中设置 DOWNLOAD_DELAY = 2


想要看代码请移步我的github:https://github.com/pujinxiao/jobbole_spider

如果本项目对你有用请给我一颗star,万分感谢。

作者:今孝

出处:http://www.cnblogs.com/jinxiao-pu/p/6744374.html

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。

欢迎博友指出错误,我将改进,共同提高技术。
posted @ 2017-04-21 17:14  今孝  阅读(3310)  评论(1编辑  收藏  举报
//制作目录