眼镜儿

2019年10月19日

摘要： linkextractor: 连接提取器: 帮我们从response对象中提取指定的链接用法: 实例化一个提取器对象, 实例化的时候我们可以传递各种参数, 指定提取规则调用extract_links方法, 传入response对象, 返回一个列表, 里边是一个个提取到的link对象 link对象阅读全文

posted @ 2019-10-19 17:59 眼镜儿阅读(1108) 评论(0) 推荐(0)

rabbitmq消息队列

摘要： rabbitmaq的安装使用通过阿里云yum源, 在epel园中有这个rabbitmq yum install rabbitmq-server erlang -y 启动rabbitmq-server systemclt start rabbitmq-server 开启后台管理界面 rabbitmq 阅读全文

posted @ 2019-10-19 16:47 眼镜儿阅读(209) 评论(0) 推荐(0)

2019年10月18日

5. 哨兵集群

摘要： redis-sentinel 主从复制高可用 redis-sentinel redis-sentinel 是redis官方推荐的高可用性解决方案当用redis作为master-slave的高可用时,r如果master本身宕机,rredis本身或者客户端都没有实现主从切换的功能而redis-sen 阅读全文

posted @ 2019-10-18 18:47 眼镜儿阅读(157) 评论(0) 推荐(0)

4.主从同步

摘要：原理：1. 从服务器向主服务器发送 SYNC 命令。2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。4. 主阅读全文

posted @ 2019-10-18 18:36 眼镜儿阅读(183) 评论(0) 推荐(0)

3. redis持久化存储

摘要： redis持久化之RDB和AOF redis持久化 redis是内存型数据库, 一旦服务器退出, 数据库的数据全部丢失, 为了解决这个问题, redis提供了两种持久化的方案, 将内存中的数据保存到硬盘中, 他可以手动执行 RDB持久化 rdb持久化, 可以将redis的状态保存到硬盘中, 可以手动阅读全文

posted @ 2019-10-18 15:26 眼镜儿阅读(136) 评论(0) 推荐(0)

2. redis 安全

摘要： 1. redis没有用户概念, redis只有密码 2. redis默认工作在保护模式下, 不允许远程任何用户登录的 protected-mode redis.conf设置启动redis服务端 redis-server /opt/redis-4.0.10/redis.conf & # 指定配置文件阅读全文

posted @ 2019-10-18 12:11 眼镜儿阅读(104) 评论(0) 推荐(0)

1.redis基础

摘要： 1.nosql 2.yum安装redius 3. 源码编译安装 redis可执行文件 4. redis配置文件 redis配置文件名为 redis.conf 这个文件可以自定义 5. redis核心配置项 6. 启动redis服务端 7.redis数据结构 8. 基本命令 9 数据结构 string 阅读全文

posted @ 2019-10-18 11:59 眼镜儿阅读(155) 评论(0) 推荐(0)

2019年10月17日

06. scrapy的Request对象

摘要： class scrapy.http.Request(url[, callback, method="GET", headers, body, cookies, meta, encoding='utf8', priority=0, dont_filter=Falese, errback])) 参数详解阅读全文

posted @ 2019-10-17 17:51 眼镜儿阅读(124) 评论(0) 推荐(0)

05 pipeline 管道

摘要：管道接收怕从爬取到的item, 并对item进行过滤, 去重, 清洗等工作, 然后对item进行持久化存储去重管道: 如果图片名称相同, 我们就认为图片重复, 删除该项目 # 将数据存储到csv文件中 # 过滤, 删除掉与游戏相关的新闻内容 # 加工性管道: # 存储型管道阅读全文

posted @ 2019-10-17 17:27 眼镜儿阅读(143) 评论(0) 推荐(0)

04 蜘蛛spider

摘要：概述: Spider定义如何爬取某个网站, 包括爬取的动作, 以及如何从网页的内容中提取结构化数据. # -*- coding: utf-8 -*- import scrapy from tutorial.items import QuoteItem class QuotesSpider(scrap 阅读全文

posted @ 2019-10-17 16:52 眼镜儿阅读(130) 评论(0) 推荐(0)

公告