随笔分类 -  定向爬虫

Python单线程与并行
摘要：分别使用单线程与并行方式对百度贴吧进行请求并记录时间 #-*-coding:utf8-*- from multiprocessing.dummy import Pool as ThreadPool import requests import time def getsource(url): htm 阅读全文
posted @ 2022-08-09 23:19 Ryan-liang 阅读(64) 评论(0) 推荐(0)
获取极客学院职业方向图片
摘要：import requests import re #1请求数据 URL = 'https://www.jikexueyuan.com' ## 目标网址 headers = {"User-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) 阅读全文
posted @ 2022-08-07 21:46 Ryan-liang 阅读(16) 评论(0) 推荐(0)