2020年9月14日
scrapy GUI 1.2 使用教程
摘要： 项目介绍 需要Python 3.6+ Scrapy GUI 一个简单的，由Qt-Webengine驱动的Web浏览器，具有用于测试scrapy蜘蛛代码的内置功能。 还包括一个插件，以使GUI可以与scrapy shell一起使用。 目录 安装 独立用户界面 浏览器标签 工具标签 查询框 正则表达式框 阅读全文
posted @ 2020-09-14 18:49 凹凸曼大人 阅读(1822) 评论(0) 推荐(0)
轻松制作蜘蛛：GUI FOR SCRAPY SHELL
摘要： 作为Scrapinghub的python开发人员，我花了大量时间在Scrapy shell中。这是Scrapy附带的命令行界面，可让您运行简单的，兼容Spider的代码。当然，它可以完成工作，但是在某些情况下命令行界面可能会变得有点怪异，我发现我经常会通过这一点。我在工具设计和任务自动化方面有一定的 阅读全文
posted @ 2020-09-14 18:07 凹凸曼大人 阅读(395) 评论(0) 推荐(0)
scrapy 随即user 和IP注意事项 小细节
摘要： DOWNLOADER_MIDDLEWARES = { 'item_u9c9.middlewares.NovelUserAgentMiddleWare': 544, #随即user 'item_u9c9.middlewares.NovelProxyMiddleWare': 543,#随即IP Imag 阅读全文
posted @ 2020-09-14 10:15 凹凸曼大人 阅读(173) 评论(0) 推荐(0)