11 2021 档案

python爬虫之使用协程爬取小电影
摘要：为了防止xxxxxx问题，这里对url进行base64处理一下，如果要访问需要encode下 本文是结合了两个案例，来介绍协程，通过这俩案例，我们能对协程有一个更加清晰认识，在阅读本篇文章前，建议先看之前的两篇文章。 并发爬取视频 1. 解析网页获取视频地址 base64 decode之后的url地 阅读全文
posted @ 2021-11-07 11:34 dogfei 阅读(1690) 评论(0) 推荐(0)
python基础之多线程和线程池
摘要：为什么要引入并发编程 场景1：一个网络爬虫，按顺序爬取花了1小时，采用并发下载减少到20分钟 场景2：一个APP应用，优化前每次打开页面需要3秒，采用异步并发提升到打开每次200毫秒 其实引入并发就是为了提升程序的运行速度。 python中对并发编程的支持 多线程：threading模块，利用CPU 阅读全文
posted @ 2021-11-07 11:30 dogfei 阅读(1382) 评论(0) 推荐(0)
python爬虫基础之xpath使用教程
摘要：介绍 XPath是一种XML路径语言，被用于在XML文档中通过元素和属性进行导航 安装 pip install lxml 使用 html示例内容，下面的所有练习全都来自与此段示例 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8 阅读全文
posted @ 2021-11-07 11:25 dogfei 阅读(918) 评论(0) 推荐(0)