scrapy - 随笔分类 - 郑哲

scrapy命令行

摘要：1.help scrapy --help 输出帮助信息 2.scrapy version -v 查看组件版本号 3.startproject 创建一个项目 4.genspider scrapy genspider aaa aaa.com scrapy genspider bbb bbb.com 1）阅读全文

posted @ 2017-11-01 22:03 郑哲阅读(168) 评论(0) 推荐(0)

创建爬虫

摘要：1.创建项目命令行到文件路径下， scrapy startproject tutorial 产生目录 tutorial/ scrapy.cfg tutorial/ __init__.py items.py settings.py middlewares.py pipelines.py spider 阅读全文

posted @ 2017-11-01 19:44 郑哲阅读(150) 评论(0) 推荐(0)

scrapy爬虫初体验

摘要：命令行运行代码 scrapy runspider 文件名.py -o 存储文件名.csv 1.在xx.py文件中找到已定义的爬虫，然后通过抓取引擎运行爬虫 2.具体的抓取过程： 1）使用start_urls作为初始url生成Request，并默认把parse作为它的回调函数。 2）在parse中采用阅读全文

posted @ 2017-11-01 18:06 郑哲阅读(138) 评论(0) 推荐(0)

随笔分类 - scrapy