水映枫像

摘要： 1. 数据抓取 首先，我们得知道微博热搜内容的具体链接。https://s.weibo.com/top/summary def get_html_data(self): res = requests.get(self.url, headers=self.headers).text return re 阅读全文

摘要： 这里以金庸老先生小说合集为例。 1. 数据抓取 首先，我们需要找到小说网站，jinyong.zuopinj.com 其次通过浏览器分析工具，分析页面数据。 2.具体实现 每本书都有对应的书籍ID，每本书相应的章节数ID，根据这两个信息，我们可完成如下代码。 def get_chapter(url): 阅读全文

摘要： 记录一下问题解决办法 通过Python把数据流写入文件时，提示报错。 UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 18521: illegal multibyte sequence 具体如下 f 阅读全文

摘要： 当我们再用python爬取网页代码时，难免会出现乱码，如下图所示 解决办法： html.encoding = html.apparent_encoding 代码中采用以后，解析html结果如下： 另外，我们对上行代码做下简单详解。 encoding是从http中的header中的charset字段中 阅读全文

摘要： Python爬虫主要分为三大板块：抓取数据，分析数据，存储数据。 简单来说，爬虫要做就是通过指定的url，直接返回用户所需数据，无需人工一步步操作浏览器获取。 1.抓取数据 一般来说，访问网站url给我们返回两种格式数据，html和json。 1) 无参 抓取数据的大多数属于get请求，我们可以直接 阅读全文

摘要： 导入相关包模块 import numpy as np 1.一维数组 创建数组 np.array([1, 2, 3]) 初始化数组 在对数组初始化时，Numpy提供了几种初始化方法， ones(): 初始元素为1的数组 zeros():初始元素为0的数组 random.random():初始元素为随机 阅读全文

摘要： 数据怎么来 1）首先我们还是先登录要爬取的网站糗事百科。用谷歌浏览器F12解析页面数据。 翻到页面最下面，翻到第二页，网址发生变化，如上图所示。我们不妨得出结论，有数字参数表示页数，总共有13页。 https://www.qiushibaike.com/8hr/page/{页数}/ 2）看上图的Re 阅读全文

摘要： B站视频弹幕数据+可视化分析。 这里以前段时间很火的一部动漫鬼灭之刃为例，剧场版截至目前已超350亿票房。 数据怎么来 要想做数据分析，首先要有数据来源，通过Python实现弹幕爬虫就能简单得到动漫视频数据。 动漫视频分为好多集，对每一集弹幕信息做爬取，需要我们知道每一集的ID信息。 如下图所示，这 阅读全文

摘要： 这里介绍高德API接口简单使用。 数据怎么来 高德地图官网有提供相应的开发支持，下面我们简单介绍一下。 1）官网链接：https://developer.amap.com/，选择开发支持，Web服务API。 2）做好注册，并新建应用获取KEY(调用接口时必需）。 3）当我们创建好应用，就可以获取到相 阅读全文

摘要： 编程语言排名滚动效果实现。 工具 Python3pyechartsrequests正则表达式 数据获取 数据来源：https://www.tiobe.com/tiobe-index/ 这家网站上记录了每年每种语言的排名情况 获取数据的代码如下图： res = requests.get(self.ur 阅读全文