摘要: 为什么要反爬 爬虫:使用任何技术手段,批量获取网站信息的一种方式。关键在于批量 反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。关键也在于批量 因爬虫的访问频率过高影响服务器的运行 影响别人业务 导致服务器宕机 单一的DoS攻击一般是采用一对一方式的,它利用网络协议和操作系统的一些 阅读全文
posted @ 2023-06-29 22:44 jiang_jiayun 阅读(182) 评论(0) 推荐(0)
摘要: mongodb和python交互 安装环境 pip install pymongo==4.2.0 官方文档:https://pymongo.readthedocs.io/en/stable/ 使用样例 引入包pymongo import pymongo 连接,创建客户端 client = pymon 阅读全文
posted @ 2023-06-29 22:14 jiang_jiayun 阅读(47) 评论(0) 推荐(0)
摘要: Mongo中唯一索引\复合索引 唯一索引 在默认情况下mongdb的索引的值是可以相同的,创建唯一索引之后,数据库会在插入数据的时候检查创建索引域的值是否存在,如果存在则不会插入该条数据,但是创建索引仅仅能够提高查询速度,同时降低数据库的插入速度 添加唯一索引的语法 db.集合名.createInd 阅读全文
posted @ 2023-06-29 20:20 jiang_jiayun 阅读(250) 评论(0) 推荐(0)
摘要: MongoDB索引Index 索引概述 索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录 这种扫描全集合的查询效率是非常低的,特别在处理大量的数据时,查询可以要花费几十秒甚至几分钟,这对应用的性能是非常致命的 创建索引 M 阅读全文
posted @ 2023-06-29 19:58 jiang_jiayun 阅读(64) 评论(0) 推荐(0)
摘要: 聚合操作之排序、分页 管道命令之$sort $sort用于将输入的文档排序后输出 使用示例如下: 查询人物,按照年龄升序 db.person.aggregate([{$sort:{age:1}}]) 查询每个国家的人数,并排序 db.person.aggregate([ {$group:{_id:" 阅读全文
posted @ 2023-06-29 19:12 jiang_jiayun 阅读(756) 评论(0) 推荐(0)