文章分类 - 爬虫
python爬虫
摘要:首先构建爬取的网页,这里使用django渲染三个简单的页面,每个视图函数都sleep2秒用来模拟数据爬取的等待时间 django视图页面 from django.shortcuts import render from django.http import HttpResponse import t
阅读全文
摘要:event_loop:事件循环,相当于一个无线循环,我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行 coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。 -- 我们可以使用async关键字来定义一个方法,这个方法在调用时不会立即被执
阅读全文
摘要:from lxml import etree import re from multiprocessing.dummy import Pool '下载梨视频生活栏目中最热的视频' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win
阅读全文

浙公网安备 33010602011771号