摘要：前置：https://www.cnblogs.com/luocodes/p/11827850.html 解决最后一个问题，如何将scrapy真正的打包成单文件 耗了一晚上时间，今天突然有灵感了 错误分析 不将scrapy.cfg文件与可执行文件放一起，那么就会报错 爬虫没有找到 报错的原因 1.sc 阅读全文

摘要：环境 Windows7 Python3.65 scrapy1.74 PyInstaller3.5 创建打包脚本 在与scrapy.cfg同路径创建start.py # -*- coding: utf-8 -*-from scrapy.crawler import CrawlerProcessfrom 阅读全文

摘要：设置setting.py 修改机器人协议 ROBOTSTXT_OBEY = False 设置User-Agent DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9, 阅读全文

摘要：安装 Scrapy pip install scrapy 配置虚拟环境 mkvirtualenv Spider 创建项目 在Spider的虚拟环境中运行 scrapy startproject BookSpider 项目目录树 E:. └─BookSpider │ scrapy.cfg │ └─Bo 阅读全文