摘要: 一、主题式网络爬虫设计方案 1.爬虫名称:爬取百度实时热点 2.爬虫爬取的内容:百度实时热点排行榜的排名,标题,热度。 3.爬虫设计方案概述:用requests.get(url)命令向服务器提交请求,然后将响应的网页信息交给BeatifulSoup库解析,获取自己想要的内容。然后使用pandans保 阅读全文
posted @ 2020-04-23 14:22 许佳慧 阅读(2300) 评论(0) 推荐(0) 编辑
摘要: import requests import re import os import pandas as pd url = 'https://tophub.today/n/74KvxwokxM' headers = {'user-Agent':'5787665'} response = reques 阅读全文
posted @ 2020-03-20 19:28 许佳慧 阅读(483) 评论(0) 推荐(0) 编辑