摘要：
思路解析： 1、我们需要明确爬取数据的目的：为了按热度查看主播的在线观看人数 2、浏览网页源代码，查看我们需要的数据的定位标签 3、在代码中发送一个http请求，获取到网页返回的html(需要注意的是，许多网页都有反爬虫机制，所以需要在请求中添加user-agent,伪装成客户端访问) 4、对获取到 阅读全文
posted @ 2020-04-05 16:33
做个读书人
阅读(840)
评论(2)
推荐(0)
摘要：
错误原因：主要是由于该网站禁止爬虫导致的，可以在请求加上头信息，伪装成浏览器访问User-Agent。 新增user-agent信息： headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537 阅读全文
posted @ 2020-04-05 12:44
做个读书人
阅读(3878)
评论(0)
推荐(0)
浙公网安备 33010602011771号