摘要： 一、selenium的介绍 1.是一个自动化测试工具，模拟人的行为，做爬虫为了解决使用 requests模块无法执行ajax获取数据2.使用selenium+半人工登录，获取cookie 》给requests模块使用 二、selenium的使用 1 安装模块 pip3 install seleniu 阅读全文

摘要： 一、celery简介，架构 1 celery：芹菜(跟芹菜没有任何关系) 2 python中的一个分布式任务框架 执行异步任务(对立：同步任务)：解决耗时任务，将耗时操作任务提交给celery去异步执行，比如发送短信/邮箱、消息推送、音频处理等等 执行延时任务(5分钟后干一件事)：解决延迟任务 执行 阅读全文

摘要： C3算法 在python3中，所有类都是新式类，继承顺序遵循广度优先的C3算法 C3算法的规则如下： 每一个类的继承顺序都是从父类向子类看 形成一个指向关系的顺序[当前类]+[父类的继承顺序]如果一个类出现在从左到右的第一个顺序上，并且没有出现在后面顺序中，或者出现在后面的顺序中但是仍然是第一顺序， 阅读全文

摘要： import requests import re res = requests.get('https://www.pearvideo.com/popular_9') # print(res.text) #拿到的是一个页面的所有视频html页面 re_video = '<a href="(.*?)" 阅读全文

摘要： 一、爬虫的基本原理 1.百度是个大爬虫.2.模拟浏览器发送http请求--(请求库)(频率，cookie,浏览器头。js反扒，app逆向)(抓包工具) >从服务器取回数据 >解析数据--(解析库)(反扒) >入库(存储库，)3.爬虫协议(详情见网站：https://www.cnblogs.com/s 阅读全文

摘要： 注意事项： # django 里面上传文件默认只处理单个文件上传，批量上传的时候request.FILES 的类型为 MultiValueDict，这种字典类是特殊定义的，要取得list 需要调用 getlist 方法: 1.在接收前端传送过来的图片时，如果是一张图片可以用 files = requ 阅读全文

摘要： 第一种：在serializer中，继承Serilizer时，用一下方法 注意点一：在进行跟新操作时，一般情况下前端发送过来的应该是put请求，因为put请求对应的映射关系是update，如果想要通过post请求来进行更新操作，得在url中修改映射关系。 [path('modify_info/', v 阅读全文

摘要： 一、celery简介，架构 1 celery：芹菜(跟芹菜没有任何关系) 2 python中的一个分布式任务框架 执行异步任务(对立：同步任务)：解决耗时任务，将耗时操作任务提交给celery去异步执行，比如发送短信/邮箱、消息推送、音频处理等等 执行延时任务(5分钟后干一件事)：解决延迟任务 执行 阅读全文

摘要： 须知：在Redis中设置值，默认，不存在则创建，存在则修改 一：String字符串操作 set 设置值 属性释义 name key的名字 value key的值 ex 过期时间（秒） px 过期时间（毫秒） nx 如果设置为True，则只有name不存在时，修改才会生效；值存在，就修改不了，执行没效 阅读全文

摘要： 一：Redis启动的3种方式 1.最简启动 redis-server ps -ef | grep redis # 查看进程 netstat -antpl | grep redis # 查看端口 redis-cli -h ip -p port ping # 命令查看 2.动态参数启动 redis-se 阅读全文