摘要：pyqt爬虫可视化 技术栈：python3.7+pyqt5 + requests + pyinstaller 界面如下： 总结一下开发中问题: 开始爬虫后，界面卡死问题 问题解决：使用多线程，界面主程序与爬虫程序分线程运行。 爬虫内容和爬虫日志的实时显示问题 问题解决：爬取中界面实时显示，刚开始fo 阅读全文

摘要：爬虫项目部署 部署环境 ： linux+python3+scrapy+scrapyd+gerapy 介绍： Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。 Scrapy-redis：虽然Scr 阅读全文

摘要：用于记录供以后使用，原文https://blog.csdn.net/qq_29027865/article/details/82216755和https://blog.csdn.net/chen801090/article/details/105841851/ 一、选择器介绍 1.使用link可以使 阅读全文

摘要：原文链接 https://blog.csdn.net/qianwenjun_19930314/article/details/88227335 1、脚本编写的两个条件 ​ 1.1 编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事 阅读全文

摘要：仅供学习与参考，随时间变化可能失效 #所有英雄ID '''https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js https://lol.qq.com/data/info-defail.shtml?id=61 https:/ 阅读全文