一只小小寄居蟹

摘要： 小程序环境搭建 1.申请一个微信公众平台 2.保存自己的appid appid = wx1a3fac0e7xxxxx 3 下载开发者工具 4 创建项目 阅读全文

摘要： spider文件 继承RedisCrawlSpider，实现全站爬取数据 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from h 阅读全文

摘要： 重写父类中的一个方法（start_requests）：该方法默认可以对start_urls列表中的元素进行get请求的发送 1.将Request方法中method参数赋值成post2.FormRequest()可以发起post请求（推荐）实例：发送post请求抓取百度翻译spider文件 impor 阅读全文

摘要： 准备flask项目 flask_demo flask_demo1 准备uwsgi uWSGI 一个基于自有的uwsgi协议、WSGI协议和http服务协议的web网关 安装 pip install uwsgi uwsgi配置1 [uwsgi] #源码目录 chdir=/home/ubuntu/dat 阅读全文

摘要： 申请SSL证书 在腾讯云申请 申请成功后下载到本地，上传到服务器上 nginx配置 假设项目名称为flask_demo vim /etc/nginx/nginx.conf http { include /etc/nginx/mime.types; default_type application/o 阅读全文

摘要： 分布式爬虫 搭建一个分布式的集群，让其对一组资源进行分布联合爬取，提升爬取效率 如何实现分布式 1.scrapy框架是否可以自己实现分布式？ 不可以！！！ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同 阅读全文

摘要： 安装chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 安装依赖库 安装必要的库 yum install mesa-libOSMesa-devel gnu-free 阅读全文

摘要： sudo是Linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部root命令的一个工具。Linux系统下，为了安全，一般来说我们操作都是在普通用户下操作，但是有时候普通用户需要使用root权限，比如在安装软件的时候。这个时候如果我们切回root用户下效率就会比较低，所以用sudo命令就会 阅读全文

摘要： 增量式爬虫 监测网站数据更新的情况,只会爬取网站最新更新出来的数据。 需求： 爬取某个电影网站，然后把电影的名称和简介进行持久化存储 实现思路 指定一个起始url 基于CrawISpider获取其他页码链接 基于Rule将其他页码链接进行请求 从每一个页码对应的页面源码中解析出每一个电影详情页的UR 阅读全文

摘要： 查看数据盘挂载情况 df -h 从图中查看，目前只有一块硬盘 查看磁盘分区 fdisk -l 对比Disk /dev/vda，vda下面有一个Device /dev/vda1，vdb少了一个Device。 说明数据盘是有的，只不过现在没有分区，还无法使用，所以接下来我们就要对它进行分区。 格式化分区 阅读全文