Scrapy 使用

Scrapy 使用

1、必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令 创建 Scrapy 项目

# 常用的三个命令
scrapy startproject test_spider      # 生成项目
scrapy genspider mzt example.com     # 会创建一个 mzt.py
scrapy crawl test_spider             # .cfg 目录执行，启动爬虫

也可以在 .cfg 同目录下创建 main.py

from scrapy import cmdline
cmdline.execute(['scrapy', 'crawl', 'mzt'])  # spider 目录下的爬虫文件

该命令会创建包含下列内容的test_spider目录

test_spider
	test_spider
	scrapy.cfg         # 项目的配置文件
		__init__.py    # 该项目的python模块
		items.py       # 项目中的item文件
		middlewares.py # 项目中的pipelines文件
		pipelines.py   # 项目的设置文件
		settings.py    # 放置spider代码的目录.
		crawl.py       # 爬虫文件