随笔分类 -  python3

scrapy爬虫系列之七--scrapy_redis的使用
摘要：功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 简单介绍： 安装：pip3 install scrapy_redis 在scrapy的基础上实现了更多的功能：如request去重（增量爬虫），爬虫持久化，实现分布式 工作流程：通过redis实现调度器的队列和指纹集合；每个 阅读全文
posted @ 2019-04-03 14:25 bookwed 阅读(542) 评论(0) 推荐(0)
scrapy爬虫系列之六--模拟登录
摘要：功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 爬取网站：bilibili、github 完整代码：https://files.cnblogs.com/files/bookwed/login.zip 主要代码： bili.py github.py github2.py 阅读全文
posted @ 2019-04-03 14:19 bookwed 阅读(914) 评论(0) 推荐(0)
scrapy爬虫系列之五--CrawlSpider的使用
摘要：功能点：CrawlSpider的基本使用 爬取网站：保监会 主要代码： cf.py 阅读全文
posted @ 2019-03-31 22:32 bookwed 阅读(328) 评论(0) 推荐(0)
scrapy爬虫系列之开头--scrapy知识点
摘要：介绍：Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速抓取。Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度。 0、说明： 保存数据的方法有4种(json、jsonl、csv、xml)，-o 输出指定格式的文件 scrapy 阅读全文
posted @ 2019-03-28 21:58 bookwed 阅读(430) 评论(0) 推荐(0)
scrapy爬虫系列之一--scrapy的基本用法
摘要：功能点：scrapy基本使用 爬取网站：传智播客老师 完整代码：https://files.cnblogs.com/files/bookwed/first.zip 主要代码： ff.py pipelines.py 阅读全文
posted @ 2019-03-28 21:54 bookwed 阅读(304) 评论(0) 推荐(0)
scrapy爬虫系列之二--翻页爬取及日志的基本用法
摘要：功能点：如何翻页爬取信息，如何发送请求，日志的简单实用 爬取网站：腾讯社会招聘网 完整代码：https://files.cnblogs.com/files/bookwed/tencent.zip 主要代码： job.py pipelines.py 阅读全文
posted @ 2019-03-28 21:48 bookwed 阅读(1866) 评论(0) 推荐(0)
scrapy爬虫系列之三--爬取图片保存到本地
摘要：功能点：如何爬取图片，并保存到本地 爬取网站：斗鱼主播 完整代码：https://files.cnblogs.com/files/bookwed/Douyu.zip 主要代码： douyu.py pipelines.py 阅读全文
posted @ 2019-03-28 21:33 bookwed 阅读(2754) 评论(0) 推荐(0)
scrapy爬虫系列之四--爬取列表和详情
摘要：功能点：如何爬取列表页，并根据列表页获取详情页信息？ 爬取网站：东莞阳光政务网 完整代码：https://files.cnblogs.com/files/bookwed/yangguang.zip 主要代码： yg.py pipelines.py 阅读全文
posted @ 2019-03-28 21:23 bookwed 阅读(5467) 评论(0) 推荐(0)
python3.7.2 ssl版本过低导致pip无法使用的问题
摘要：环境：系统是centos6.6，python：python3.7.2 问题：安装好python3、pip后，在通过pip install xx 安装模块时，发现无法安装的问题，提示版本太低，系统默认的是openssl1.0.1，需要1.0.2或者libressl。在网上也搜了各种资料，试了各种方式， 阅读全文
posted @ 2019-01-10 17:21 bookwed 阅读(2845) 评论(0) 推荐(0)
python3安装后无法使用退格键的问题
摘要：# 安装readline模块 yum -y install readline-devel # 进入Python安装目录 cd /usr/python/Python-3.7.2 # 重新安装 ./configure --prefix=/usr/local/python3 make make install 阅读全文
posted @ 2018-12-26 18:50 bookwed 阅读(502) 评论(0) 推荐(0)
python3在centos6.6上的安装
摘要：建议：在看这个文档操作前，最好先参考一下这个：https://www.cnblogs.com/bookwed/p/10251236.html，是解决pip安装模块时，提示ssl版本低的问题。 阅读全文
posted @ 2018-12-26 17:16 bookwed 阅读(612) 评论(0) 推荐(0)