摘要:接着上次的说,上次只是实现了本地自动化部署,这种情况只是针对开发环境和部署环境在同一台机器时适用。不过,一般情况下,我们都会要把项目部署到远程Linux服务器上,所以这节的主要内容是: 1、部署开发环境下的Web项目到远程Linux服务器; 2、实现自动备份; 准备环境: 本地开发,安装虚拟机,在虚 阅读全文
posted @ 2015-06-17 13:36 bookwed 阅读(20655) 评论(0) 推荐(2) 编辑
摘要:功能点:如何发送携带cookie访问登录后的页面,如何发送post请求登录 简单介绍: 安装:pip3 install scrapy_redis 在scrapy的基础上实现了更多的功能:如request去重(增量爬虫),爬虫持久化,实现分布式 工作流程:通过redis实现调度器的队列和指纹集合;每个 阅读全文
posted @ 2019-04-03 14:25 bookwed 阅读(347) 评论(0) 推荐(0) 编辑
摘要:功能点:如何发送携带cookie访问登录后的页面,如何发送post请求登录 爬取网站:bilibili、github 完整代码:https://files.cnblogs.com/files/bookwed/login.zip 主要代码: bili.py github.py github2.py 阅读全文
posted @ 2019-04-03 14:19 bookwed 阅读(748) 评论(0) 推荐(0) 编辑
摘要:功能点:CrawlSpider的基本使用 爬取网站:保监会 主要代码: cf.py 阅读全文
posted @ 2019-03-31 22:32 bookwed 阅读(248) 评论(0) 推荐(0) 编辑
摘要:介绍:Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速抓取。Scrapy使用了Twisted异步网络框架,可以加快我们的下载速度。 0、说明: 保存数据的方法有4种(json、jsonl、csv、xml),-o 输出指定格式的文件 scrapy 阅读全文
posted @ 2019-03-28 21:58 bookwed 阅读(306) 评论(0) 推荐(0) 编辑
摘要:功能点:scrapy基本使用 爬取网站:传智播客老师 完整代码:https://files.cnblogs.com/files/bookwed/first.zip 主要代码: ff.py pipelines.py 阅读全文
posted @ 2019-03-28 21:54 bookwed 阅读(227) 评论(0) 推荐(0) 编辑
摘要:功能点:如何翻页爬取信息,如何发送请求,日志的简单实用 爬取网站:腾讯社会招聘网 完整代码:https://files.cnblogs.com/files/bookwed/tencent.zip 主要代码: job.py pipelines.py 阅读全文
posted @ 2019-03-28 21:48 bookwed 阅读(1529) 评论(0) 推荐(0) 编辑
摘要:功能点:如何爬取图片,并保存到本地 爬取网站:斗鱼主播 完整代码:https://files.cnblogs.com/files/bookwed/Douyu.zip 主要代码: douyu.py pipelines.py 阅读全文
posted @ 2019-03-28 21:33 bookwed 阅读(2203) 评论(0) 推荐(0) 编辑
摘要:功能点:如何爬取列表页,并根据列表页获取详情页信息? 爬取网站:东莞阳光政务网 完整代码:https://files.cnblogs.com/files/bookwed/yangguang.zip 主要代码: yg.py pipelines.py 阅读全文
posted @ 2019-03-28 21:23 bookwed 阅读(3654) 评论(0) 推荐(0) 编辑
摘要:环境:系统是centos6.6,python:python3.7.2 问题:安装好python3、pip后,在通过pip install xx 安装模块时,发现无法安装的问题,提示版本太低,系统默认的是openssl1.0.1,需要1.0.2或者libressl。在网上也搜了各种资料,试了各种方式, 阅读全文
posted @ 2019-01-10 17:21 bookwed 阅读(2404) 评论(0) 推荐(0) 编辑
摘要:# 安装readline模块 yum -y install readline-devel # 进入Python安装目录 cd /usr/python/Python-3.7.2 # 重新安装 ./configure --prefix=/usr/local/python3 make make install 阅读全文
posted @ 2018-12-26 18:50 bookwed 阅读(373) 评论(0) 推荐(0) 编辑