摘要：for sel in response.xpath('//ul/li'): item = DmozItem() item['title'] = sel.xpath('a/text()').extract() item['link'] = sel.xpath('a/@href').extract() 阅读全文

摘要：在用scrapy（python2.7）写爬虫的时候 from tutorail.items import DmozItem 这一行死活不成功 也就是出现 Unresolved reference 'tutorial' 的问题 当然，其实不只是爬虫，如果你初次导入包是应该也可能会遇见这个问题！ 解决办 阅读全文

摘要：简单的说， 等价于： 总的来说with... as包含一个错误处理和一个文件关闭功能！ 阅读全文

摘要：windows下利用scrapy（python2.7）写爬虫，运行 scrapy crawl dmoz 命令时提示：exceptions.ImportError: No module named win32api 插个话题，这里还需要注意的是你需要到你所创建的爬虫项目目录下运行以上命令，比如你创建了 阅读全文

摘要：第一次写博客，有不好的地方请理解！ 在linux下安装scrapy几行命令就搞定了，windows就是事多！ 话不多说，我们直接进入主题： 1. 下载python。地址 https://www.python.org/ ，你可能会很犹豫是下载python3，还是python2。不用犹豫，直接下载pyt 阅读全文