摘要：
接着上次的说，上次只是实现了本地自动化部署，这种情况只是针对开发环境和部署环境在同一台机器时适用。不过，一般情况下，我们都会要把项目部署到远程Linux服务器上，所以这节的主要内容是： 1、部署开发环境下的Web项目到远程Linux服务器； 2、实现自动备份； 准备环境： 本地开发，安装虚拟机，在虚 阅读全文
摘要：
功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 简单介绍： 安装：pip3 install scrapy_redis 在scrapy的基础上实现了更多的功能：如request去重（增量爬虫），爬虫持久化，实现分布式 工作流程：通过redis实现调度器的队列和指纹集合；每个 阅读全文
摘要：
功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 爬取网站：bilibili、github 完整代码：https://files.cnblogs.com/files/bookwed/login.zip 主要代码： bili.py github.py github2.py 阅读全文
摘要：
功能点：CrawlSpider的基本使用 爬取网站：保监会 主要代码： cf.py 阅读全文
摘要：
介绍：Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速抓取。Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度。 0、说明： 保存数据的方法有4种(json、jsonl、csv、xml)，-o 输出指定格式的文件 scrapy 阅读全文
摘要：
功能点：scrapy基本使用 爬取网站：传智播客老师 完整代码：https://files.cnblogs.com/files/bookwed/first.zip 主要代码： ff.py pipelines.py 阅读全文
摘要：
功能点：如何翻页爬取信息，如何发送请求，日志的简单实用 爬取网站：腾讯社会招聘网 完整代码：https://files.cnblogs.com/files/bookwed/tencent.zip 主要代码： job.py pipelines.py 阅读全文
摘要：
功能点：如何爬取图片，并保存到本地 爬取网站：斗鱼主播 完整代码：https://files.cnblogs.com/files/bookwed/Douyu.zip 主要代码： douyu.py pipelines.py 阅读全文
摘要：
功能点：如何爬取列表页，并根据列表页获取详情页信息？ 爬取网站：东莞阳光政务网 完整代码：https://files.cnblogs.com/files/bookwed/yangguang.zip 主要代码： yg.py pipelines.py 阅读全文
摘要：
环境：系统是centos6.6，python：python3.7.2 问题：安装好python3、pip后，在通过pip install xx 安装模块时，发现无法安装的问题，提示版本太低，系统默认的是openssl1.0.1，需要1.0.2或者libressl。在网上也搜了各种资料，试了各种方式， 阅读全文
摘要：
# 安装readline模块 yum -y install readline-devel # 进入Python安装目录 cd /usr/python/Python-3.7.2 # 重新安装 ./configure --prefix=/usr/local/python3 make make install 阅读全文