xpath
摘要:存html etree.tounicode(etree_html.xpath('//*[@id="prodDetailCotentDiv"]/textarea/table/tbody')[0], method="xml") requests from lxml import etree html =
阅读全文
you-get
摘要:1.打开cmd,输入命令并执行 pip3 install you-get 2.输入命令,检测 You-Get 是否安装成功 you-get 3.开始下载吧 you-get [视频地址]you-get http://v.qq.com/iframe/player.html?vid=l0199xw6j83
阅读全文
五, Authentication和Permissions
摘要:概述 在介绍Django REST Framework(二):Request和Response 时提到,DRF提供了对身份验证和权限的处理机制,特点如下: 1.对API的不同部分使用不同的认证策略; 2.支持多种身份验证策略; 3.对每个请求提供了用户和token信息。 在这篇文章中,将对身份验证和
阅读全文
四,ViewSets和Routers
摘要:概述 在DRF中,允许在一个类中组合一组相关视图的逻辑,称为ViewSets。比如通过通用视图,可以定义列表视图、详情视图等等,但每个视图位于不同的类中,而通过ViewSets则可以将多个视图放在同一个类中。 ViewSets也是一种基于类的视图,只不过和APIView不同的是,它并不提供如get(
阅读全文
二,Request和Response
摘要:概述 在DRF中,引入了一个Request和Response对象进行请求和响应,这两个对象分别继承于Djaong中常规的HttpRequest和SimpleTemplateResponse,相比其父类,它们提供了更灵活的请求解析和响应内容。 1.Request Request类继承于Django中常
阅读全文
一,Serializer和ModelSerializer
摘要:1.REST Framework概述 Django REST framework是一套基于Django的REST框架,是一个用于构建Web API的功能强大且灵活的工具包。 RESTful 简述 Representational State Transfer(REST),是一种架构样式,定义了一套用
阅读全文
三,APIView、GenericAPIView、Mixins总结
摘要:概述 APIView是DRF的视图层中最基本的类,它相当于Django中的View类,其他视图类都是通过继承APIView实现的。 GenericAPIView继承于APIView,在其父类的基础上为列表视图和详情视图添加了常用的行为。 Mixins提供了一些基本视图行为的操作方法,如提供的list
阅读全文
windows安装AnyProxy 配合夜神模拟器抓包
摘要:AnyProxy是阿里巴巴基于 Node.js 开发的一款开源代理服务器。做为中间代理服务器,它可以收集所有经过它的http请求流量(包括https明文内容);它提供了友好的web界面,便于直观的查看经过它的http请求;同时它支持二次开发,可以用javascript控制整个代理的全部流程,便于前端
阅读全文
Django模型之Meta选项详解
摘要:Django模型类的Meta是一个内部类,它用于定义一些Django模型类的行为特性。而可用的选项大致包含以下几类 abstract 这个属性是定义当前的模型是不是一个抽象类。所谓抽象类是不会对应数据库表的。一般我们用它来归纳一些公共属性字段,然后继承它的子类可以继承这些字段。 Options.ab
阅读全文
HTTPConnectionPool(host:XX)Max retries exceeded with url
摘要:爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool(host:XX)Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXXX>:
阅读全文
Mysql字段类型与合理选择
摘要:字段类型 数值 MySQL 的数值数据类型可以大致划分为两个类别,一个是整数,另一个是浮点数或小数。许多不同的子类型对这些类别中的每一个都是可用的,每个子类型支持不同大小的数据,并且 MySQL 允许我们指定数值字段中的值是否有正负之分(UNSIGNED)或者用零填补(ZEROFILL)。 INT在
阅读全文
七牛云上传图片
摘要:python开发文档连接:https://developer.qiniu.com/kodo/sdk/1242/python 本地上传图片
阅读全文
阿里云oss存储图片
摘要:单线程版-上传网络流 import pymysql import oss2 import requests import logging # 添加日志 logging.basicConfig( level=logging.INFO, # 定义输出到文件的log级别,大于此级别的都被输出 format
阅读全文
Python 类的魔术方法
摘要:Python中类的魔术方法 在Python中以两个下划线开头的方法,__init__、__str__、__doc__、__new__等,被称为"魔术方法"(Magic methods)。魔术方法在类或对象的某些事件出发后会自动执行,如果希望根据自己的程序定制自己特殊功能的类,那么就需要对这些方法进行
阅读全文
reids遇到问题
摘要:今天重启爬虫服务器在连接redis数据库时突然报错:MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify
阅读全文
岭回归
摘要:回归算法之岭回归 具有L2正则化的线性最小二乘法。岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。当数据集中存在共线性的时候,
阅读全文
线性回归
摘要:线性回归 线性回归的定义是:目标值预期是输入变量的线性组合。线性模型形式简单、易于建模,但却蕴含着机器学习中一些重要的基本思想。线性回归,是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。 优点:结果易于理解,计算不复杂 缺点:对非线性的数据拟合
阅读全文