随笔分类 - 爬虫
爬虫
摘要:协程 & 异步编程(asyncio) 协程(Coroutine),也可以被称为微线程,是一种用户态内的上下文切换技术。简而言之,其实就是通过一个线程实现代码块相互切换执行。例如: def func1(): print(1) ... print(2) def func2(): print(3) ...
阅读全文
摘要:title: QQ空间数据抓取 author: 杨晓东 permalink: QQ空间数据抓取 date: 2021-10-02 11:27:04 categories: 嗯哼 tags: 无聊 QQ空间数据抓取 import time import os from selenium import
阅读全文
摘要:title: 拉勾网职位爬取 author: 杨晓东&敖昀阳 permalink: 拉勾网职位爬取 date: 2021-10-02 11:27:04 categories: 嗯哼 tags: 无聊 拉勾网职位爬取 file_rar from selenium import webdriver im
阅读全文
摘要:title: 豆瓣电影搜索 author: 杨晓东&曹旭东 permalink: 豆瓣电影搜索 date: 2021-10-02 11:27:04 categories: 嗯哼 tags: 无聊 豆瓣电影搜索 file_rar import requests from lxml import etr
阅读全文
摘要:title: user-agent反反爬 author: 杨晓东 permalink: user-agent反反爬 date: 2021-10-02 11:27:04 categories: 投篮 tags: demo user-agent反反爬 import fake_useragent # 实例
阅读全文