摘要: 一主题网络爬虫设计方案 1.主题式网络爬虫名称:爬取前程无忧职位信息 2.主题式网络爬虫爬取的内容 本爬虫就要爬取公司名称,工作地点,薪资,学历,工作经验,招聘人数,公司规模,公司类型,公司福利和发布时间。 3.主题式网络爬虫设计方案概述 实验思路:爬取数据,数据清洗,数据可视化。 二.主题页面结构 阅读全文
posted @ 2020-04-23 22:32 郑炜平 阅读(1098) 评论(0) 推荐(0) 编辑
摘要: import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) Ap 阅读全文
posted @ 2020-03-21 19:42 郑炜平 阅读(227) 评论(0) 推荐(0) 编辑