摘要: 目标:用Python实现一个面向主题的网络爬虫程序 经过这段时间的python学习,为了检验下自己的学习情况,准备爬取一个小说网站来了解目前畅销的小说的一些基本数据 一,设计方案 1.首先明确要爬取的网站,这边选择爬取的url是:https://mbook.km.com/rank-wanben.ht 阅读全文
posted @ 2020-04-14 11:00 big憨 阅读(385) 评论(0) 推荐(0) 编辑
摘要: 1.本代码需引用request库和beautifulsoup库 2.打开微博网址,f12查看代码,(如图知道我们需要的代码是’class=td-02‘) 3.使用代码 import requests from bs4 import BeautifulSoup url = 'https://s.wei 阅读全文
posted @ 2020-03-20 14:17 big憨 阅读(248) 评论(0) 推荐(0) 编辑