liyiyang

摘要： 采用单线程+多协程的方式爬取 import asyncio import json import re import aiofiles import requests from letter import Letter from bs4 import BeautifulSoup import os 阅读全文

摘要： 我采用创建了Letter类用来储存信件，重写了LetterFilePipeline使得爬取保存的文件名为信件Id，采用了多线程爬取，最后保存到letters目录下 Letter package org.example.crawler_letter; import lombok.AllArgsCons 阅读全文