代码改变世界

Web抓取之Scrapy实践

2015-10-22 06:39  pymonkey  阅读(270)  评论(0)    收藏  举报

1.安装Scrapy

下载Phthon27. 32位

下载pywin32 http://sourceforge.net/projects/pywin32/files/pywin32/

2.创建第一个Spider

使用XPath选择器抓取博客园

XPath的相关知识，如果调试XPath

3.如何保存数据？

使用pipeline

 

http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/overview.html

https://github.com/scrapy/scrapy