摘要： [TOC] 动态渲染反爬虫 动态网页比静态网页更具有交互性，能给用户提供更好的体验 动态网页中常见的表现形式有 下拉刷新，点击切换和悬停显示等 由 JavaScript 改变 HTML "DOM" 导致页面内容发生变化的现象称为动态渲染 动态渲染的通用解决办法 如果每次遇到很麻烦的动态渲染页面，都需 阅读全文

摘要： [TOC] Pyppeteer 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动 最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便，另外如果要做大规模部 阅读全文

摘要： [TOC] WebSocket握手验证反爬虫 ! "HTTP协议" "请求头" 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据 Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一 阅读全文

摘要： "1 签名验证反爬虫" "2 WebSocket 反爬虫" "3 动态渲染反爬虫" "4 文字混淆反爬虫" "5 特征识别爬虫" "6 APP 爬虫" "7 IP 池代理" "8 验证码处理" 阅读全文

该文被密码保护。 阅读全文

摘要： [TOC] 1 注册 2 登陆 3 图片验证码相关 在登陆时，需要用到验证码 4 首页相关，Django Admin后台录入数据 先创建一个超级管理员用户 然后在 admin.py 文件下，导入模板,将所有表注册都管理员后台 登陆admin后台后，可以看到所有的表是英文的，还带了s 把表名变成中文操 阅读全文

摘要： [TOC] Auth认证组件 Auth模块是什么 Auth模块是Django自带的用户认证模块 内置了强大的用户认证系统 auth，它默认使用 auth_user 表来存储用户数据 提供了对auth_user表的注册、登陆、认证、注销、修改密码等功能 auth模块常用方法 1 创建用户 2 校验用户 阅读全文

摘要： [TOC] csrf跨站请求伪造 模拟钓鱼网站 本质搭建一个跟正常网站一模一样的页面 用户在该页面上完成转账功能 转账的请求确实是朝着正常网站的服务端提交 唯一不同的在于收款账户人不同 给用户书写form表单 对方账户的input没有name属性 你自己悄悄提前写好了一个具有默认的并且是隐藏的具有n 阅读全文

摘要： [TOC] 什么是Django中间件？ 中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统，用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能 由于影响全局，所以需要谨慎使用，使用不当会影响性能 settings.py中的中间 阅读全文

摘要： [TOC] 什么是cookie 1、由于BS架构基于HTTP协议，是无状态的，不能保存客户端状态 2、使用cookie/session技术可以保存客户端用户状态 3、cookie是服务端生成发送给客户端的键值对，浏览器会保存它 4、浏览器可以设置禁止cookie的写入，即不保存cookie cook 阅读全文