摘要：搭建Scrapyd服务 检查是否安装systemd 服务器CentOS 7 新建scrapyd.service文件，然后添加一些内容（需要root权限）我是以root账户操作的。 系统可能默认没有安装vim，安装或者改用vi等即可。 添加内容： [Unit]区块通常是配置文件的第一个区块，用来定义U 阅读全文

摘要：引用摘自《Python绝技 虫术》第三章 一、三大环境 开发环境、测试环境与生产环境，其关系如下图所示： 开发环境的侧重点是增加开发效率，Scrapy命令行工具就是一套针对爬虫开发与维护的工具。只要细细研读每个指令的作用，就会发现它们只不过是将一系列的人工操作指令通过一个指令一次性地完成罢了，其本质 阅读全文

摘要：一、scrapy的优点 提供了内置的HTTP缓存，以加速本地开发 童工了自动节流调节机制，而且具有遵守robots.txt的内置的能力 可以定义爬行深度的限制，以避免爬虫进入死循环链接 会自动保留会话 执行自动HTTP基本认证，不需要明确保存状态 可以自动填写登入表单 scrapy有一个内置的中间件 阅读全文