bibicode - 博客园

2020年9月2日

摘要： class Permission(models.Model): """ 权限表 """ title = models.CharField(verbose_name='标题', max_length=32) url = models.CharField(verbose_name='含正则的URL', 阅读全文

posted @ 2020-09-02 22:41 bibicode 阅读(131) 评论(0) 推荐(0)

3.基本权限验证之基于中间件实现权限信息校验

摘要：思路：编写中间件实现权限信息校验 # 导入中间件 from django.utils.deprecation import MiddlewareMixin from django.shortcuts import render import re # 自定义类，继承MiddlewareMixin c 阅读全文

posted @ 2020-09-02 08:09 bibicode 阅读(233) 评论(0) 推荐(0)

2.基本权限验证之权限信息初始化

摘要：整体思路：在用户登陆之后拿到用户的信息，加入session from rbac.models import UserInfo from django.shortcuts import render # 判断用户是否存在 obj = UserInfo.object.filter(name='用户名', 阅读全文

posted @ 2020-09-02 07:34 bibicode 阅读(196) 评论(0) 推荐(0)

1.模型字段

摘要： from django.db import models class Permission(models.Model): """ 权限表 """ title = models.CharField(verbose_name='标题', max_length=32) url = models.CharF 阅读全文

posted @ 2020-09-02 06:55 bibicode 阅读(89) 评论(0) 推荐(0)

2020年8月9日

数据库

摘要：显示创建一个数据库 db.createCollection('data') 指定参数创建数据库 db.createCollection('data', {capped: true, size:10}) 参数capped：默认值为false表示不设置上限，值为true表示设置上限参数size：设置数阅读全文

posted @ 2020-08-09 20:07 bibicode 阅读(130) 评论(0) 推荐(0)

2020年7月27日

scrapy图片数据爬取

摘要： scrapy中已经为我们封装好了一个专门基于图片请求和持久化存储的管道类ImagesPipeline，如果想要基于scrapy实现图片数据的爬取，则可以直接使用该管道类即可在配置文件中进行如下配置： IMAGES_STORE = ‘./imgs’：表示最终图片存储的目录爬虫文件 import s 阅读全文

posted @ 2020-07-27 18:14 bibicode 阅读(263) 评论(0) 推荐(0)

通过设置提升scrapy的爬取效率

摘要：增加并发：默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。降低日志级别：降低日志级别：在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置l 阅读全文

posted @ 2020-07-27 16:02 bibicode 阅读(289) 评论(0) 推荐(0)

scrapy 请求传参

摘要：有时候，我们爬取的数据不在同一个页面中，例如，我们爬取qiushibaike，qiushibaik的标题，作者在首页，而要爬取的段子详情在另一个页面。这时我们就需要用到请求传参。请求传参的使用场景当我们使用爬虫爬取的数据没有存在于同一张页面的时候，则必须使用请求传参爬虫文件 import sc 阅读全文

posted @ 2020-07-27 15:59 bibicode 阅读(271) 评论(0) 推荐(0)

scrapy 全站数据爬取

摘要：大部分的网站展示的数据都进行了分页操作，那么将所有页码对应的页面数据进行爬取就是爬虫中的全站数据爬取。基于scrapy如何进行全站数据的爬取? 使用request方法，给callback传参(函数), 函数解析请求回来的数据，实现全站数据爬取爬虫文件 import scrapy from lea 阅读全文

posted @ 2020-07-27 14:58 bibicode 阅读(315) 评论(0) 推荐(0)

scrapy 基于管道持久化操作，分别存在本地和数据库

摘要：定义两个管道类，每个管道类中重写process_item(self, item, spider) pipelines.py # 这个类把数据保存进数据库 class save_to_db: def process_item(self, item, spider): # 要返回item给下一个类调用阅读全文

posted @ 2020-07-27 14:12 bibicode 阅读(135) 评论(0) 推荐(0)