2020年11月30日
Python爬取 MT论坛主题帖，小批量抓取想看的主题
摘要： import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent import random from lxml import etree t = UserAgent(verify_ssl=False 阅读全文
posted @ 2020-11-30 18:00 凹凸曼大人 阅读(567) 评论(0) 推荐(0)
Scrapy 爬取MT论坛 所有主题帖，原因论坛搜索功能很不好使。爬到本地搜索。
摘要： 在spiders下创建mt.py 写入： import scrapy class itemSpider(scrapy.Spider): name = 'mt' start_urls = ['https://bbs.binmt.cc/forum.php'] def parse(self, respon 阅读全文
posted @ 2020-11-30 17:58 凹凸曼大人 阅读(342) 评论(0) 推荐(0)