Solmidola

摘要： 首先，我们运用EA画出一个大概需求： 运用EA自动生成代码后，我们发现每种有.h 与.cpp两种文件 .h用来声明里面所包含的功能函数类，.cpp用来编写声明的函数或者类的编写 各个类的用途： 在main函数中，我们只需要编写最外层的交互界面，实现输入相关指令，就可以从Furniturecontai 阅读全文

摘要： scrapy的好处在于能自动配置多线程请求来加快爬虫运行的速度，同时作为框架我们只需要配置较少的部分。 参考自 ： https://blog.csdn.net/zjiang1994/article/details/52779537 一、关于scrapy的安装 首先去这个网站下载所需要的插件 http 阅读全文

摘要： 一、selenium的使用 selenium库是python用来实现浏览器自动化操作，除了pip install selenium 还要下载浏览器的驱动才能实现最终效果，最开始看的教程是关于PhantomJS 一个无头浏览器驱动，但是发现已经宣布不和python联动了，这里帮大家避下雷（时代变了 我 阅读全文

摘要： 借鉴：https://blog.csdn.net/qq_40244755/article/details/90043484 观前提示：因为python自身编辑器的原因，python多线程有时候甚至会降低效率，所以我们一般使用多进程而不是多线程，即用multiprocessing替代Thread mu 阅读全文

摘要： 爬取对象：https://movie.douban.com/top250 （注：最新更新于2021/1/22 网站信息变化可能会导致最后信息爬取失败） 爬取的基本步骤： ①将计算机访问行为模拟成用户行为（UA的模拟以及爬取时间间隔设置） ②对要爬取的网页进行分析 ③获取整个网页的源码并用特殊的解析器 阅读全文