摘要：
redis主从复制 从服务(slave)从主服务(Master)同步更新数据，保持主从数据同步。 主服务提供读写服务，从服务只能提供读服务。 一个主服务可以有多个从服务。 建立主从关系 可以使用三种方式： 开启服务时指定该服务从属于其他redis服务。 redis-server --salveof 阅读全文
posted @ 2020-06-09 20:25
没有想象力
阅读(164)
评论(0)
推荐(0)
摘要：
官网介绍 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，包括： 字符串（strings) 散列（hashes） 列表（lists） 集合（sets） 有序集合（sorted sets） 范围查询， bitmaps：位 阅读全文
posted @ 2020-06-09 20:13
没有想象力
阅读(383)
评论(0)
推荐(0)
摘要：
动态网页抓取问题 某些网站采用动态网页技术，页面中的数据通过执行js向dom树中动态增加元素，这样的网页我们无法直接从网页源代码中获取数据，因为这是客户端（浏览器）执行js后动态添加的 无头浏览器 一个无界面的浏览器，可以执行与其他浏览器同样的操作，接受网页数据并渲染，执行js文件，动态的生成dom 阅读全文
posted @ 2020-06-09 18:55
没有想象力
阅读(424)
评论(0)
推荐(0)
摘要：
XPath 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历，快速提取xml文档中的的信息，详细的xpath教程参见：https://www.w3school.com.cn/xpath/index.asp。 xpath用法 //任意层次下，/ 根或下一层 //@i 阅读全文
posted @ 2020-06-09 18:47
没有想象力
阅读(2771)
评论(0)
推荐(0)
摘要：
scrapy-redis模块 scrapy-redis是为了实现scrapy的分布式爬取而提供了一个python库，通过更换scrapy的内置组件，将爬取请求队列和item数据放入第三方的redis数据库中，由此可以有多个scrapy进程从redis中读取request数据和写入items数据，实现 阅读全文
posted @ 2020-06-09 18:33
没有想象力
阅读(1303)
评论(0)
推荐(0)
摘要：
scrapy 流程图 Scrap Engine(引擎) 负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件，是整个爬虫的调度中心。 调度器（ Scheduler） 调度器接收从引擎发送过来的 request，并将他们加入到爬取队列，以便之后引擎请求他们时提供给引擎。初始的爬取URL和后 阅读全文
posted @ 2020-06-09 18:25
没有想象力
阅读(3140)
评论(0)
推荐(1)
摘要：
urllib包 urllib是python3中的一个标准库，它是一个工具包模块，使用该模块我们可以模仿浏览器向服务器发送请求，并获得返回结果数据进行处理。 urllib包分级简单，在该包下5个模块 urllib.request ：用于打开和读写url urllib.response：将获取后的内容进 阅读全文
posted @ 2020-06-09 17:38
没有想象力
阅读(517)
评论(0)
推荐(0)
摘要：
Innodb引擎的锁机制 InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁 事务的ACID 事务是为了实现业务上完整性而实现了，他可以由多条sql语句组成，这些语句要么全部成功，否则发生任何错误都将会回滚。事务具有4个属性。称为事务的ACID属性 阅读全文
posted @ 2020-06-09 17:13
没有想象力
阅读(276)
评论(0)
推荐(0)
摘要：
页 从磁盘读取或者写入数据时，我们通常会指定一个缓冲区大小，达到缓冲区域大小才会写入一次数据，较少IO操作次数。同样的从磁盘读取数据时候，就操作系统而言，读取一条较小的数据时，并不是只会返回我们需要的数据，而是会将这个数据前后的部分数据一并读取到内存中，以备之后使用。这个从磁盘读取的最小量的数据被称 阅读全文
posted @ 2020-06-09 16:43
没有想象力
阅读(1293)
评论(0)
推荐(0)
摘要：
数据库 数据库是按照数据结构来组织，储存，管理数据的仓库。数据库在物理层上有效的利用系统对磁盘的块读取特性，在读取相同磁盘块的同时，尽可能多的加载索引数据，来提高索引命中效率，从而达到减少磁盘IO的读取次数 传统的记录数据的方式使用普通文件的记录，但是这种储存的方式在进行数据 查询时极其不方便，不能 阅读全文
posted @ 2020-06-09 16:11
没有想象力
阅读(301)
评论(0)
推荐(0)
浙公网安备 33010602011771号