文章分类 -  爬虫

python爬虫
摘要:首先构建爬取的网页,这里使用django渲染三个简单的页面,每个视图函数都sleep2秒用来模拟数据爬取的等待时间 django视图页面 from django.shortcuts import render from django.http import HttpResponse import t 阅读全文
posted @ 2020-06-25 23:37 bibicode 阅读(334) 评论(0) 推荐(0)
摘要:event_loop:事件循环,相当于一个无线循环,我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行 coroutine:协程对象,我们可以将协程对象注册到事件循环中,它会被事件循环调用。 -- 我们可以使用async关键字来定义一个方法,这个方法在调用时不会立即被执 阅读全文
posted @ 2020-06-25 22:15 bibicode 阅读(162) 评论(0) 推荐(0)
摘要:from lxml import etree import re from multiprocessing.dummy import Pool '下载梨视频生活栏目中最热的视频' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win 阅读全文
posted @ 2020-06-25 16:18 bibicode 阅读(104) 评论(0) 推荐(0)