摘要: 一.主题式网络主题式网络爬虫设计方案 1.爬虫名称:爬取豆瓣电影 Top 250 数据 2.爬取内容:爬取电影排名,评分,介绍 3.网络爬虫设计方案概述: 思路:通过分析网页源代码,找出数据所在的标签,通过爬虫读取数据保存到csv文件中,读取文件,对数据进行清洗和处理,数据分析与可视化处理。 技术难 阅读全文
posted @ 2020-04-11 21:06 周凯莉 阅读(1129) 评论(0) 推荐(0) 编辑
摘要: 主要使用request库和beautifulSoup库爬取今日热榜的数据。 具体代码实现: 1 import requests 2 from bs4 import BeautifulSoup 3 import time 4 import pandas 5 import re 6 7 def get_ 阅读全文
posted @ 2020-03-19 12:58 周凯莉 阅读(1772) 评论(0) 推荐(0) 编辑