摘要: 一.主题式网络爬虫设计方案:爬取人人贷网上部分借贷信息 1.主题式网络爬虫名称:爬取人人贷网上部分信息2.主题式网络爬虫的内容与数据特征分析:爬取人人贷部分信息数据,借贷信息 3.主题式网络爬虫设计方案概述(包括实现思路与技术难点):找到该网站的网址,然后F12分析该网址的源代码,找到自己所需要的数 阅读全文
posted @ 2020-04-20 10:57 赖群诗 阅读(1545) 评论(2) 推荐(0) 编辑
摘要: 首先要获取网页的代码,先将其装成一个函数 def getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() #r.encoding = 'utf-8' return r.text except: r 阅读全文
posted @ 2020-03-21 14:02 赖群诗 阅读(862) 评论(1) 推荐(0) 编辑