摘要:在用 Python 实现爬虫时,可以使用 requests 库访问资源,然后用正则表达式提取信息。 但是,这里会有一些繁琐,因为正则表达式的书写是比较严格的,万一有一个地方写错了,可能会导致匹配失败无法提取需要的信息。 对于网页的节点来说,可以定义 id、class 或其他属性。节点之间有层次关系, 阅读全文
posted @ 2020-04-01 20:37 Python学习啊 阅读 (24) 评论 (0) 编辑
摘要:都说某乎卧虎藏龙,女网友有倾国倾城、闭月羞花之容貌,男网友有玉树临风、英俊潇洒的姿态,今日我们就来探索一番吧! 爬虫部分 我选取了某乎热度非常高的10个问题,男女兼而有之。“ 帅得惨绝人寰是帅到了哪种程度? ”,这样的问题下面该会是什么样的神颜呢,真是期待呢。 这里爬取这些问题每一个的前百页回答(毕 阅读全文
posted @ 2020-04-01 20:27 Python学习啊 阅读 (16) 评论 (0) 编辑
摘要:要说使用Python中最让人头疼的过程,不是程序崩溃代码报错,而是卡在安装某个依赖库上,因为报错的代码千篇一律但安装失败的情况千奇百怪,因此本文将介绍我在安装第三方库遇到问题时的一般操作。 在安装某个库的时候,首先当然是直接pip,比如 pip install pandas ,可是在某些时候会发现下 阅读全文
posted @ 2020-04-01 20:23 Python学习啊 阅读 (21) 评论 (0) 编辑
摘要:大多数编程语言的正则表达式设计都师从Perl,所以语法基本相似,不同的是每种语言都有自己的函数去支持正则,今天我们就来学习 Python中关于 正则表达式的函数。 re模块主要定义了9个常量、12个函数、1个异常,每个常量和函数猪哥 都会通过实际代码案例讲解,让大家能更直观的了解其作用! 注:为避免 阅读全文
posted @ 2020-04-01 14:19 Python学习啊 阅读 (27) 评论 (0) 编辑
摘要:截至3月28日,美国累计新冠肺炎确诊病例已经超过12万例,累计死亡病例超两千例。美国政府已宣布17个州和地区为应对新冠肺炎疫情“灾难状态”。美国疾控中心28日还对纽约州等疫情较严重的三州发布旅行建议。 有朋友就问能否介绍下如何使用Python绘制美国疫情地图。、 但是PyEcharts并没有美国各州 阅读全文
posted @ 2020-04-01 14:12 Python学习啊 阅读 (42) 评论 (0) 编辑
摘要:最近疫情比较严重,很多公司依靠阿里旗下的办公软件钉钉来进行远程办公,当然了,钉钉这个产品真的是让人一言难尽,要多难用有多难用,真的让人觉得阿里的pm都是脑残才会设计出这种脑残产品,不过吐槽归吐槽,该用还得用,虽然钉钉别的功能很鸡肋,但是机器人这个功能还是让人眼前一亮,属于比较极客的功能,它可以将第三 阅读全文
posted @ 2020-04-01 13:38 Python学习啊 阅读 (22) 评论 (0) 编辑
摘要:学习Python的朋友应该都知道,当我们需要使用某些功能的时候,都会去安装一些第三方的模块,比如 “pip install requests”,感觉都被别人装了,你有没有想过,自己搞一个模块,给别人直接 pip install 到他的电脑里面直接使用呢?是不是突然就很厉害! 我们思考着,如果打包自己 阅读全文
posted @ 2020-04-01 13:34 Python学习啊 阅读 (20) 评论 (0) 编辑
摘要:1.前言 中国疫情已经持续几个月了,前段时间经过全国人民的辛勤付出,疫情得到了控制,在这段时间里大家都窝在家中,为了让这段时间过得有意思,所以就有很多朋友选择在各平台发布制作的短视频(包括作者)。为了让视频更加丰富多彩,可以给自己的视频添加字幕,网上也有很多付费网站都支持语音文件转字幕,为了不花钱, 阅读全文
posted @ 2020-03-31 14:34 Python学习啊 阅读 (49) 评论 (0) 编辑
摘要:一、多任务简介 1、为什么要使用多任务爬虫? 在大量的url需要请求时,单线程/单进程去爬取,速度太慢,此时cpu不工作,浪费cpu资源。 爬取与写入文件分离,可以规避io操作,增加爬取速度,充分利用cpu。 2、多任务分类 进程:进程是操作资源分配的最小单位,一个运行的程序,至少包括一个进程,进程 阅读全文
posted @ 2020-03-31 14:07 Python学习啊 阅读 (32) 评论 (0) 编辑
摘要:今天我们依然介绍的是迭代器,不过介绍的是几个比较常用的 高级用法 ,在实际场景当中非常实用,可以帮助我们大大简化代码的复杂度。 跳过开头 首先是跳过开始部分,这个在我们读取文本的时候最常用。在实际的应用当中,比如记录的日志或者是代码等等,一般来说 头部都会附上一段说明 ,或者用注释标注或者是用特殊的 阅读全文
posted @ 2020-03-31 14:02 Python学习啊 阅读 (18) 评论 (0) 编辑