文章分类 -  Python随笔

摘要:一、PyEcharts简介 “pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒,为了与 Python 进行对接,方便在 Python 中直接使用数据生成图”。 pyecharts可以展示 阅读全文
posted @ 2020-08-20 00:06 璐璐呦 阅读(626) 评论(0) 推荐(0)
摘要:Requests库介绍 Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。 requests库常用的7种方法: requests.requests() requests.get(‘https://github.com/t 阅读全文
posted @ 2020-08-17 14:44 璐璐呦 阅读(133) 评论(0) 推荐(0)
摘要:scrapy是一个工业化的爬虫框架,应用广泛,功能强大,scrapy-redis作为scrapy功能的增加,主要多的功能是让scrapy支持了分布式,增加了持续去重,增加了断点续爬,增量爬取等功能。最近学习了scrapy-redis的去重方式的源码,这里做一个简单的总结。 这个图片是scrapy-r 阅读全文
posted @ 2020-08-17 10:33 璐璐呦 阅读(477) 评论(0) 推荐(0)
摘要:2020-08-11 前言 Redis是一个内存数据库,既然是将数据保存在内存中,上下线之后数据就会丢失,在我们的业务中,这种情况是不允许发生的,所以这时候就需要涉及到Redis的持久化机制 Redis可以手动开启持久化,来让内存中的数据持久化到磁盘,Redis提供两种持久化方案: RDB快照 AO 阅读全文
posted @ 2020-08-11 00:35 璐璐呦 阅读(174) 评论(0) 推荐(0)