摘要: 一.主题式网络爬虫设计方案1.主题式网络爬虫名称:爬取艺龙网站泉州酒店信息2.主题式网络爬虫的内容与数据特征分析:爬取艺龙网站泉州酒店的名称,价格和评分3.主题式网络爬虫设计方案概述(包括实现思路与技术难点):实现思路:本次设计方案主要使用request库爬取网页信息和beautifulSoup库来 阅读全文
posted @ 2020-04-19 20:27 黄含斌 阅读(1318) 评论(0) 推荐(0) 编辑
摘要: #页面结构 #源代码 import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; 阅读全文
posted @ 2020-03-20 11:43 黄含斌 阅读(421) 评论(0) 推荐(0) 编辑
摘要: #源代码 import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x6 阅读全文
posted @ 2020-03-20 11:32 黄含斌 阅读(332) 评论(0) 推荐(0) 编辑