摘要: 一、主题式网络爬虫设计方案 1.主题式网络爬虫名称 爬取猫眼电影排行榜数据 2 爬取内容:爬取排行榜电影数据 主题页面的结构特征分析 网站地址: http://maoyan.com/board/4 可以看到页码,切换到第二页,看url会有什么变化 获取网站的html信息 #!/usr/bin/env 阅读全文
posted @ 2020-04-24 22:21 imio 阅读(718) 评论(0) 推荐(0) 编辑
摘要: from urllib import request import re import pandas as pd url = "https://tophub.today/n/Jb0vmloB1G" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 阅读全文
posted @ 2020-03-21 14:29 imio 阅读(311) 评论(0) 推荐(0) 编辑