摘要:本节内容: 简介 文件存储 TXT文本存储 JSON文件存储 CSV文件存储 关系型数据库 MySQL存储 非关系数据库 Mongodb redis 一 简单介绍: 我们前面很少将提取的数据或者获取的源码保存下来;其实日常的工作中在解析出数据后接下来就是存储数据。 保存数据的形式有多种多样txt\j 阅读全文
posted @ 2019-11-08 20:46 xbhog 阅读 (31) 评论 (0) 编辑
摘要:本节内容 模块的安装 基础用法 GET用法、POST用法 进阶用法 cookie处理、代理ip、session 一 模块安装: 1). 安装requests包还是很方便的,电脑中有python环境,打开cmd,输入pip install requests下载; 如果有同学使用pycharm的话,选择 阅读全文
posted @ 2019-11-01 17:32 xbhog 阅读 (197) 评论 (0) 编辑
摘要:最近哪吒大火,所以我们分析一波哪吒的影评信息,分析之前我们需要数据呀,所以开篇我们先讲一下爬虫的数据提取;话不多说,走着。 首先我们找到网站的url = "https://maoyan.com/films/1211270",找到评论区看看网友的吐槽,如下 F12打开看看有没有评论信息,我们发现还是有 阅读全文
posted @ 2019-10-26 22:29 xbhog 阅读 (76) 评论 (1) 编辑
摘要:本节内容: 简介 文件存储 TXT文本存储 JSON文件存储 CSV文件存储 关系型数据库 MySQL存储 非关系数据库 Mongodb redis 一 简单介绍: 我们前面很少将提取的数据或者获取的源码保存下来;其实日常的工作中在解析出数据后接下来就是存储数据。 保存数据的形式有多种多样txt\j 阅读全文
posted @ 2019-11-08 20:46 xbhog 阅读 (31) 评论 (0) 编辑
摘要:本节内容 模块的安装 基础用法 GET用法、POST用法 进阶用法 cookie处理、代理ip、session 一 模块安装: 1). 安装requests包还是很方便的,电脑中有python环境,打开cmd,输入pip install requests下载; 如果有同学使用pycharm的话,选择 阅读全文
posted @ 2019-11-01 17:32 xbhog 阅读 (197) 评论 (0) 编辑
摘要:题目:给定两个数组,编写一个函数来计算它们的交集。 示例 1: 示例 2: 说明: 输出结果中的每个元素一定是唯一的。 我们可以不考虑输出结果的顺序。 输出结果中的每个元素一定是唯一的。 我们可以不考虑输出结果的顺序。 首先说一下我自己的(菜鸡)思路:我先是想先去重第第一个数组(nums1),然后循 阅读全文
posted @ 2019-10-26 22:36 xbhog 阅读 (22) 评论 (0) 编辑
摘要:题目:给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词(python语言)。 说明: 你可以假设字符串只包含小写字母。 进阶: 如果输入字符串包含 unicode 字符怎么办?你能否调整你的解法来应对这种情况? 下面看下面大神的操作: 首先说一下sorted/sort的 阅读全文
posted @ 2019-10-26 22:34 xbhog 阅读 (16) 评论 (0) 编辑
摘要:最近哪吒大火,所以我们分析一波哪吒的影评信息,分析之前我们需要数据呀,所以开篇我们先讲一下爬虫的数据提取;话不多说,走着。 首先我们找到网站的url = "https://maoyan.com/films/1211270",找到评论区看看网友的吐槽,如下 F12打开看看有没有评论信息,我们发现还是有 阅读全文
posted @ 2019-10-26 22:29 xbhog 阅读 (76) 评论 (1) 编辑
摘要:今天制作一个优美库图片小程序,网址http://www.umei.cc/bizhitupian/, 爬虫的相关流程:获取目标网址-获取数据-存储数据。下面是该网页的内容: 第一步:找到该网站下的便签,找到该标签网页下所有的url,这里的思路是获取该标签下的页数,通过循环拼接所有的url。 对电脑壁纸 阅读全文
posted @ 2019-10-26 22:23 xbhog 阅读 (24) 评论 (0) 编辑
摘要:今天分析一波蜂鸟网,话不多说,先来一波网址,url =“ http://image.fengniao.com/index.php#p=1”,首先一个美女图片瞧瞧, 分析一波网页,找到网站的分页特点,该网站请求方式为ajax请求,那么各位看官瞧仔细了,F12打开,鼠标轱辘往下翻,你会发现: 有什么发现 阅读全文
posted @ 2019-10-26 22:13 xbhog 阅读 (39) 评论 (0) 编辑
摘要:这是爬虫的第一部分,对于python基础与网络编程部分重点突出,主要以每次小项目为主;更新时间不定,随缘之人,缘分到了,文章就出来了。 简单说下这次练手的小东西想法:在暑假的时候,看见自己的电脑壁纸有点。。。。,LOW,所以想着做一个WIN下的壁纸切换小程序。这次只是图片提取部分,话不多说来看看代码 阅读全文
posted @ 2019-10-26 22:08 xbhog 阅读 (19) 评论 (0) 编辑
摘要:今天我们来盘一下csdn,做一个小程序,为什么做这个呢?今天小编看着我的博客的阅读数,唉,惨不忍睹,没办法,只能想一些........呃呃呃呃,你懂的。 话不多说,分析一波csdn的阅读数,计数原理是每次进入页面记作一次,所以我们很简单的构建一个访问的小爬虫就好了,那么开始操作。 根据上面的代码,你 阅读全文
posted @ 2019-10-26 21:59 xbhog 阅读 (63) 评论 (3) 编辑
摘要:本节内容 了解输入框、文本框的使用方法 利用1制作简易界面 首先明确上面由几个元素组成;该界面由界面标题,输入框、两个按钮、文本框组成。 该界面我们需要实现的功能: 在输入框中输入文字,点击insert point按钮,将文字传入下面文本框中; 在文本框有文字的前提下,在输入框中输入文字,点击ins 阅读全文
posted @ 2019-10-26 21:49 xbhog 阅读 (139) 评论 (0) 编辑