摘要：一. From: http://www.sharejs.com/codes/Python/8309 1.在Scrapy工程下新建“middlewares.py” 2.在项目配置文件里(./project_name/settings.py)添加 只要两步，现在请求就是通过代理的了。测试一下^_^ 二. 阅读全文

摘要：传送门：http://www.cnblogs.com/junrong624/p/5533655.html 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序 阅读全文

摘要：在 setting.py 文件中 设置 日志 记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 阅读全文

摘要：用urllib2抓取图片的时候，部分request报HTTP Error 400: Bad Request 参照：https://stackoverflow.com/questions/8840303/urllib2-http-error-400-bad-request?answertab=acti 阅读全文

摘要：传送门：http://blog.csdn.net/feifly329/article/details/49702063 爬取网站图片时,无法抓取. 在 setting.py 文件中 设置 日志 记录等级 LOG_LEVEL= 'DEBUG' LOG_FILE ='log.txt' 查看日志 发现报 阅读全文

摘要：Scrapy中使用xpath时，根据xpath的语法不一定能得到想要的。 如下面的html源码： 要得到img_1000后面picture的source路径，通过xpath的语法我没有得到直接取到的方法，折中办法参考：http://www.cnblogs.com/Garvey/p/6697162.h 阅读全文

摘要：参考： https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden https://segmentfault.com/q/1010000000470724 通过测试应该是request 阅读全文