09 2020 档案

69. 并发下载
摘要：多线程和多进程补充知识点 要实现将资源和持有资源的线程进行绑定的操作，最简单的做法就是使用threading模块的local类，在网络爬虫开发中，就可以使用local类为每个线程绑定一个MySQL数据库连接或Redis客户端对象，这样通过线程可以直接获得这些资源，既解决了资源竞争的问题，又避免了在函 阅读全文
posted @ 2020-09-25 17:31 Laney_Sun 阅读(98) 评论(0) 推荐(0)
PyQt5图形和特效 - 窗口风格
摘要：1. 设置窗口风格 1）可以为每个Widget都设置风格。 setStyle(QStyle style) 2）获得当前平台支持的原有的QStyle样式。 QStyleFactory.keys() 3）对QApplication设置QStyle样式。 QApplication.setStyle(QSt 阅读全文
posted @ 2020-09-16 10:39 Laney_Sun 阅读(743) 评论(0) 推荐(0)
Anaconda创建、激活、退出、删除虚拟环境
摘要：创建虚拟环境 conda create -n env_name python=3.7 # 同时安装必要的包 conda create -n env_name numpy matplotlib python=3.7 激活虚拟环境 Windows: conda activate your_env_nam 阅读全文
posted @ 2020-09-07 16:39 Laney_Sun 阅读(2919) 评论(0) 推荐(1)
79 Matplotlib和数据可视化
摘要：绘制折线图 import matplotlib.pyplot as plt def main(): # 保存x轴数据的列表 x_values = [x for x in range(1, 11)] # 保存y轴数据的列表 y_values = [x ** 2 for x in range(1, 11 阅读全文
posted @ 2020-09-07 16:15 Laney_Sun 阅读(207) 评论(0) 推荐(0)
11 文件和异常
摘要：实际开发中常常会遇到对数据进行持久化操作的场景，而实现数据持久化最直接简单的方式就是将数据保存到文件中。说到“文件”这个词，可能需要先科普一下关于文件系统的知识，但是这里我们并不浪费笔墨介绍这个概念，请大家自行通过维基百科进行了解。 在Python中实现文件的读写操作其实非常简单，通过Python内 阅读全文
posted @ 2020-09-07 14:46 Laney_Sun 阅读(160) 评论(0) 推荐(0)
68. 存储数据
摘要：存储海量数据 数据持久化的首选方案应该是关系型数据库，关系型数据库的产品很多，包括：Oracle、MySQL、SQLServer、PostgreSQL等。如果要存储海量的低价值数据，文档数据库也是不错的选择，MongoDB是文档数据库中的佼佼者，有兴趣的读者可以自行研究。 下面的代码演示了如何使用M 阅读全文
posted @ 2020-09-02 16:03 Laney_Sun 阅读(158) 评论(0) 推荐(0)
67. 数据采集和解析
摘要：数据采集和解析 通过上一个章节的讲解，我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，下面我们给出一个爬虫开发相关技术的清单以及这些技术涉及到的标准库和第三方库，稍后我们会一一介绍这些内容。 下载数据 - urllib / requests / aiohttp / httpx。 解析数据 阅读全文
posted @ 2020-09-02 14:17 Laney_Sun 阅读(233) 评论(0) 推荐(0)