scrapy

在scrapy 项目目录下运行

scrapy crawl Test --logfile=test.log -o test.json -t json

scrapy shell url

test        spider名

test.log   日志

test.json 输出的item

 

DOWNLOAD_DELAY = 2
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'

 

 

make_requests_from_url

posted @ 2014-09-23 22:40  fannet  阅读(183)  评论(0)    收藏  举报